Usamos cookies. Cookies e o armazenamento do navegador mantêm você conectado e lembram suas preferências. Com sua permissão, também medimos como o site é usado. Você pode a qualquer momento. Veja nossa política de cookies.
inclusionai/ling-3.0-tinyUsa o seu saldo, aos preços acima. Novas contas começam com uso grátis.
Configurações
Ling 3.0 Tiny é um modelo de texto da inclusionAI. É um modelo de mistura de especialistas com 1,3B de parâmetros ativos de um total de 7,9B. O design visa agentes responsivos, seguimento de instruções e conversas multi-turno, e o modelo suporta comportamento de raciocínio comutável. Situa-se na categoria de texto, pelo que se destina a trabalho de linguagem e não a imagem, áudio ou outros media.
O modelo recebe texto como entrada e devolve texto como saída. A sua janela de contexto é de 262144 tokens, e a saída máxima é de 250000 tokens, o que significa que entradas muito longas e gerações muito longas são ambas possíveis num único pedido. O raciocínio pode ser ligado ou desligado, e quando ativado o conteúdo de raciocínio pode ser exposto separadamente através do parâmetro include_reasoning. Esta combinação de um contexto grande e uma contagem de parâmetros ativos comparativamente pequena torna-o um candidato para cargas de trabalho onde a latência e o débito importam a par de documentos longos.
Os usos práticos decorrem desses traços. Agentes responsivos e fluxos de trabalho orientados por ferramentas encaixam no seguimento de instruções e no suporte a tools. Sistemas de conversa multi-turno beneficiam do contexto longo, uma vez que turnos anteriores e material de referência podem permanecer no prompt. A sumarização de documentos longos, a extração e a resposta a perguntas são viáveis porque a janela de contexto é grande. Tarefas de saída estruturada funcionam através de response_format, e tarefas de classificação ou pontuação podem usar logprobs e top_logprobs. Prompts com muito raciocínio podem ser tratados ativando o raciocínio quando uma tarefa precisa de trabalho passo a passo antes da resposta final.
Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "inclusionai/ling-3.0-tiny". Como a interface segue a forma das chat completions da OpenAI, os SDKs e clientes OpenAI existentes funcionam apontando o URL base para a api14 e definindo o id de modelo. Os parâmetros de pedido suportados são frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs e top_p. Usa max_tokens para limitar a geração, temperature e os parâmetros de penalização para orientar o estilo e a repetição, seed para amostragem reproduzível, e stop para terminar a geração em sequências escolhidas. Tools permite a chamada de funções, e response_format restringe a estrutura da saída.
Há casos em que outro modelo pode encaixar melhor. Este modelo trata apenas texto, pelo que tarefas que exigem entrada ou saída de imagem ou áudio precisam de um modelo diferente. É uma variante tiny, pelo que se uma tarefa exige o raciocínio ou conhecimento mais forte possível, um modelo maior da mesma família ou de outro fornecedor pode ser a melhor escolha. Para geração de texto simples, agentes e trabalho de contexto longo dentro dos parâmetros suportados, é um padrão razoável.
Esta comunidade ainda não tem tópicos. Abra o primeiro sobre inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p