Vi använder cookies. Cookies och webbläsarlagring håller dig inloggad och kommer ihåg dina preferenser. Med ditt tillstånd mäter vi också hur webbplatsen används. Du kan när som helst. Läs vår cookiepolicy.
inclusionai/ling-3.0-tinyKörs på ditt saldo till priserna ovan. Nya konton börjar med gratis användning.
Inställningar
Ling 3.0 Tiny är en textmodell från inclusionAI. Det är en mixture-of-experts-modell med 1,3B aktiva parametrar av totalt 7,9B. Designen riktar sig mot responsiva agenter, instruktionsföljning och fleromgångskonversationer, och modellen stöder växlingsbart resonemangsbeteende. Den tillhör textkategorin, så den är avsedd för språkarbete snarare än bild, ljud eller andra medier.
Modellen tar text som indata och returnerar text som utdata. Dess kontextfönster är 262144 tokens, och maximal utdata är 250000 tokens, vilket innebär att både mycket långa indata och mycket långa genereringar är möjliga inom en enda förfrågan. Resonemang kan slås på eller av, och när det är aktiverat kan resonemangsinnehållet visas separat via parametern include_reasoning. Denna kombination av ett stort kontextfönster och ett jämförelsevis litet antal aktiva parametrar gör den till en kandidat för arbetsbelastningar där latens och genomströmning spelar roll tillsammans med långa dokument.
Praktiska användningsområden följer av dessa egenskaper. Responsiva agenter och verktygsdrivna arbetsflöden passar instruktionsföljning och verktygsstöd. System för fleromgångskonversationer drar nytta av det långa kontextfönstret, eftersom tidigare omgångar och referensmaterial kan stanna i prompten. Sammanfattning, extrahering och frågebesvarande över långa dokument är genomförbart eftersom kontextfönstret är stort. Strukturerade utdatauppgifter fungerar via response_format, och klassificerings- eller poängsättningsuppgifter kan använda logprobs och top_logprobs. Resonemangstunga prompter kan hanteras genom att aktivera resonemang när en uppgift kräver stegvis arbete före det slutliga svaret.
Du anropar modellen via api14:s OpenAI-kompatibla API med modell-id:t "inclusionai/ling-3.0-tiny". Eftersom gränssnittet följer OpenAI chat completions-formen fungerar befintliga OpenAI-SDK:er och klienter genom att peka bas-URL:en mot api14 och ange modell-id:t. De begärandeparametrar som stöds är frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs och top_p. Använd max_tokens för att begränsa genereringen, temperature och straffparametrarna för att styra stil och upprepning, seed för reproducerbar sampling, och stop för att avsluta genereringen vid valda sekvenser. Tools aktiverar funktionsanrop, och response_format begränsar utdatastrukturen.
Det finns fall där en annan modell kan passa bättre. Denna modell hanterar endast text, så uppgifter som kräver bild- eller ljudindata eller -utdata behöver en annan modell. Det är en tiny-variant, så om en uppgift kräver starkast möjliga resonemang eller kunskap kan en större modell i samma familj eller hos en annan leverantör vara det bättre valet. För enkel textgenerering, agenter och arbete med lång kontext inom de stödda parametrarna är den ett rimligt standardval.
Den här communityn har inga trådar ännu. Starta den första om inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p