Usamos cookies. Cookies e o armazenamento do navegador mantêm você conectado e lembram suas preferências. Com sua permissão, também medimos como o site é usado. Você pode a qualquer momento. Veja nossa política de cookies.
baseten/elephant-1Usa o seu saldo, aos preços acima. Novas contas começam com uso grátis.
Configurações
Baseten: Elephant 1 é um modelo de decisão da Baseten, desenvolvido pela Base Labs, a equipe de pesquisa da empresa. Ele é construído sobre o Qwen3.5-9B e tem 9B parâmetros. Em vez de gerar conversa em formato livre, o modelo é projetado para retornar decisões, o que o coloca na categoria de decisões no api14. Se você está construindo um sistema que precisa que um modelo assuma uma escolha em vez de produzir texto corrido, este é o tipo de modelo a avaliar.
O modelo aceita entrada de texto e produz decisões como saída. Sua janela de contexto é de 16.384 tokens, e a saída máxima é de 14.745 tokens. As entradas podem assumir a forma de um estado, fornecido como texto ou JSON, juntamente com perguntas tipadas. Os tipos de pergunta suportados são sim/não, múltipla escolha e ordinal. Como a modalidade de saída são decisões, você deve esperar respostas estruturadas às perguntas que fizer, em vez de texto narrativo, e projetar sua análise e lógica downstream em torno disso.
Os casos de uso práticos decorrem diretamente desse design. Um estado mais uma pergunta de sim/não é adequado para portões de aprovação, verificações de elegibilidade e triagem de políticas, onde um pipeline precisa de um veredito claro sobre um registro ou solicitação. Perguntas de múltipla escolha se encaixam em tarefas de roteamento e classificação, como enviar um ticket recebido para a fila correta ou escolher uma categoria para um documento. Perguntas ordinais são úteis quando a resposta está em uma escala, por exemplo, avaliar a gravidade ou a prioridade a partir de um estado fornecido. Fornecer o estado como JSON se encaixa em fluxos de trabalho onde a entrada já vem de uma API ou banco de dados e você quer passá-la adiante sem reformulá-la em texto corrido. Em cada caso, o modelo lê o estado e responde à pergunta tipada, o que mantém a saída restrita e mais fácil de validar do que texto livre.
Você chama o modelo através da API compatível com OpenAI do api14 usando o id de modelo "baseten/elephant-1". Como a interface segue o formato OpenAI, as bibliotecas de cliente OpenAI existentes e os padrões de requisição são aproveitados, com o id de modelo substituído. O modelo não lista parâmetros de requisição suportados além do que a API aceita por padrão, então mantenha as requisições nos campos padrão e evite depender de parâmetros opcionais de ajuste como temperature ou top_p; verifique a lista de parâmetros ativa na página antes de construir em torno de qualquer um deles. A janela de contexto de 16.384 tokens limita quanto estado e quantas perguntas você pode enviar em uma única requisição, então mantenha as entradas dentro desse orçamento.
O modelo é texto na entrada e decisões na saída, então ele não se adequa a trabalhos que precisam de texto corrido, resumos ou outro texto gerado; um modelo de geração de texto geral é a melhor escolha nesse caso. A ausência de parâmetros suportados também significa que você não pode moldar o comportamento de amostragem através da requisição, o que importa se você precisa de saída variada ou criativa. Para tarefas de decisão sobre um estado limitado, com perguntas tipadas e um contexto que caiba dentro de 16.384 tokens, o Elephant 1 é uma opção focada para testar em suas próprias cargas de trabalho.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/decisions", { body: {
"model": "baseten/elephant-1",
"state": "Customer: I was charged twice for my order and want my money back.",
"questions": {
"team": {
"type": "choice",
"instructions": "Which team should handle this message?",
"criteria": {
"billing": "Payments, refunds, invoices",
"support": "Product questions and bugs",
"sales": "Pricing and new purchases"
}
},
"urgent": {
"type": "noul",
"instructions": "Does this need a reply today?",
"criteria": {
"true": "Money, outage or legal risk",
"false": "Can wait"
}
}
}
} });
console.log(result.answers);
Esta comunidade ainda não tem tópicos. Abra o primeiro sobre Baseten: Elephant 1.