Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
inclusionai/ling-3.0-tinyUsa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
Ling 3.0 Tiny è un modello testuale di inclusionAI. È un modello mixture-of-experts con 1,3B parametri attivi su 7,9B totali. Il design è pensato per agenti reattivi, instruction following e conversazioni multi-turno, e il modello supporta un comportamento di ragionamento commutabile. Rientra nella categoria testo, quindi è destinato al lavoro linguistico e non a immagini, audio o altri media.
Il modello accetta testo come input e restituisce testo come output. La sua finestra di contesto è di 262144 token, e l'output massimo è di 250000 token, il che significa che input molto lunghi e generazioni molto lunghe sono entrambi possibili all'interno di una singola richiesta. Il ragionamento può essere attivato o disattivato, e quando è abilitato il contenuto di ragionamento può essere esposto separatamente tramite il parametro include_reasoning. Questa combinazione di un contesto ampio e un numero di parametri attivi relativamente contenuto lo rende un candidato per carichi di lavoro in cui latenza e throughput contano insieme a documenti lunghi.
Gli usi pratici derivano da queste caratteristiche. Agenti reattivi e flussi di lavoro guidati da strumenti si adattano all'instruction following e al supporto tools. I sistemi di conversazione multi-turno traggono vantaggio dal contesto lungo, poiché i turni precedenti e il materiale di riferimento possono rimanere nel prompt. La summarizzazione di documenti lunghi, l'estrazione e il question answering sono praticabili perché la finestra di contesto è ampia. Le attività con output strutturato funzionano tramite response_format, e le attività di classificazione o scoring possono usare logprobs e top_logprobs. I prompt ad alto contenuto di ragionamento possono essere gestiti abilitando il reasoning quando un'attività richiede un lavoro passo dopo passo prima della risposta finale.
Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando il model id "inclusionai/ling-3.0-tiny". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, gli SDK e i client OpenAI esistenti funzionano puntando la base URL su api14 e impostando il model id. I parametri di richiesta supportati sono frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs e top_p. Usa max_tokens per limitare la generazione, temperature e i parametri di penalità per orientare stile e ripetizione, seed per un campionamento riproducibile, e stop per terminare la generazione su sequenze scelte. Tools abilita il function calling, e response_format vincola la struttura dell'output.
Ci sono casi in cui un altro modello può adattarsi meglio. Questo modello gestisce solo testo, quindi le attività che richiedono input o output di immagini o audio necessitano di un modello diverso. È una variante tiny, quindi se un'attività richiede il massimo ragionamento o conoscenza possibili, un modello più grande della stessa famiglia o di un altro provider può essere la scelta migliore. Per la generazione testuale semplice, gli agenti e il lavoro a contesto lungo entro i parametri supportati, è un default ragionevole.
Questa community non ha ancora discussioni. Apri la prima su inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p