Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
baseten/elephant-1Usa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
Baseten: Elephant 1 è un modello decisionale di Baseten, sviluppato da Base Labs, il team di ricerca dell'azienda. È costruito su Qwen3.5-9B e ha 9B parametri. Anziché generare conversazioni in forma libera, il modello è progettato per restituire decisioni, il che lo colloca nella categoria decisions su api14. Se stai costruendo un sistema che necessita di un modello che si impegni su una scelta anziché produrre prosa, questo è il tipo di modello da valutare.
Il modello accetta input testuali e produce decisioni come output. La sua finestra di contesto è di 16.384 token, e l'output massimo è di 14.745 token. Gli input possono assumere la forma di uno stato, fornito come testo o JSON, insieme a domande tipizzate. I tipi di domanda supportati sono sì/no, scelta multipla e ordinale. Poiché la modalità di output è decisions, dovresti aspettarti risposte strutturate alle domande che poni anziché testo narrativo, e progettare il parsing e la logica a valle di conseguenza.
I casi d'uso pratici derivano direttamente da questo design. Uno stato più una domanda sì/no si adatta a gate di approvazione, verifiche di idoneità e screening delle policy, dove una pipeline necessita di un verdetto chiaro su un record o una richiesta. Le domande a scelta multipla si adattano a compiti di instradamento e classificazione, come inviare un ticket in arrivo alla coda giusta o scegliere una categoria per un documento. Le domande ordinali sono utili quando la risposta si colloca su una scala, ad esempio valutando la gravità o la priorità a partire da uno stato fornito. Fornire lo stato come JSON si adatta a flussi di lavoro in cui l'input proviene già da un'API o da un database e vuoi passarlo senza rimodellarlo in prosa. In ogni caso il modello legge lo stato e risponde alla domanda tipizzata, il che mantiene l'output ristretto e più facile da validare rispetto al testo libero.
Chiami il modello tramite l'API compatibile con OpenAI di api14 usando il model id "baseten/elephant-1". Poiché l'interfaccia segue il formato OpenAI, le librerie client OpenAI esistenti e i pattern di richiesta sono riutilizzabili, sostituendo il model id. Il modello non elenca parametri di richiesta supportati oltre a quelli che l'API accetta per impostazione predefinita, quindi mantieni le richieste sui campi standard ed evita di fare affidamento su parametri di tuning opzionali come temperature o top_p; controlla l'elenco dei parametri aggiornato sulla pagina prima di costruire qualcosa su di essi. La finestra di contesto di 16.384 token limita quanto stato e quante domande puoi inviare in una singola richiesta, quindi mantieni gli input entro quel budget.
Il modello è testo in input e decisioni in output, quindi non si adatta a lavori che richiedono prosa, riassunti o altro testo generato; un modello di generazione testuale generale è la scelta migliore in quel caso. L'assenza di parametri supportati significa anche che non puoi modellare il comportamento di campionamento tramite la richiesta, il che conta se hai bisogno di output vario o creativo. Per compiti decisionali su uno stato limitato, con domande tipizzate e un contesto che rientra in 16.384 token, Elephant 1 è un'opzione mirata da testare sui tuoi carichi di lavoro.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "baseten/elephant-1",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
Questa community non ha ancora discussioni. Apri la prima su Baseten: Elephant 1.