We gebruiken cookies. Cookies en browseropslag houden je ingelogd en onthouden je voorkeuren. Met je toestemming meten we ook hoe de site wordt gebruikt. Je kunt je wanneer je wilt. Zie ons cookiebeleid.
inclusionai/ling-3.0-tinyDraait op je saldo tegen de prijzen hierboven. Nieuwe accounts beginnen met gratis gebruik.
Instellingen
Ling 3.0 Tiny is een tekstmodel van inclusionAI. Het is een mixture-of-experts model met 1,3B actieve parameters van in totaal 7,9B. Het ontwerp is gericht op responsieve agents, instruction following en gesprekken met meerdere beurten, en het model ondersteunt omschakelbaar redeneergedrag. Het valt in de categorie tekst, dus het is bedoeld voor taalwerk en niet voor beeld, audio of andere media.
Het model neemt tekst als invoer en geeft tekst als uitvoer. Het contextvenster is 262144 tokens, en de maximale uitvoer is 250000 tokens, wat betekent dat zeer lange invoer en zeer lange generaties beide mogelijk zijn binnen een enkele aanvraag. Redeneren kan aan of uit worden gezet, en wanneer het is ingeschakeld kan de redeneerinhoud apart worden weergegeven via de parameter include_reasoning. Deze combinatie van een grote context en een relatief klein aantal actieve parameters maakt het een kandidaat voor workloads waar latentie en doorvoer belangrijk zijn naast lange documenten.
Praktische toepassingen volgen uit die eigenschappen. Responsieve agents en tool-gestuurde workflows passen bij de instruction following en tools-ondersteuning. Systemen voor gesprekken met meerdere beurten profiteren van de lange context, omdat eerdere beurten en referentiemateriaal in de prompt kunnen blijven. Samenvatting, extractie en vraagbeantwoording over lange documenten zijn haalbaar omdat het contextvenster groot is. Taken met gestructureerde uitvoer werken via response_format, en classificatie- of scoringstaken kunnen logprobs en top_logprobs gebruiken. Redeneerintensieve prompts kunnen worden afgehandeld door redeneren in te schakelen waar een taak stapsgewijs werk nodig heeft voordat het definitieve antwoord komt.
Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "inclusionai/ling-3.0-tiny". Omdat de interface de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDKs en clients door de base URL naar api14 te verwijzen en het model-id in te stellen. De ondersteunde aanvraagparameters zijn frequency_penalty, include_reasoning, logprobs, max_tokens, presence_penalty, reasoning, response_format, seed, stop, temperature, tools, top_logprobs en top_p. Gebruik max_tokens om de generatie te begrenzen, temperature en de penalty-parameters om stijl en herhaling te sturen, seed voor reproduceerbare sampling, en stop om de generatie te beëindigen op gekozen sequenties. Tools schakelt function calling in, en response_format beperkt de uitvoerstructuur.
Er zijn gevallen waarin een ander model beter past. Dit model verwerkt alleen tekst, dus taken die beeld- of audio-invoer of -uitvoer vereisen hebben een ander model nodig. Het is een tiny variant, dus als een taak het sterkst mogelijke redeneren of de sterkst mogelijke kennis vereist, kan een groter model in dezelfde familie of bij een andere provider de betere keuze zijn. Voor eenvoudige tekstgeneratie, agents en long-context werk binnen de ondersteunde parameters is het een redelijke standaardkeuze.
Deze community heeft nog geen topics. Open het eerste topic over inclusionAI: Ling 3.0 Tiny.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "inclusionai/ling-3.0-tiny",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
frequency_penaltyinclude_reasoninglogprobsmax_tokenspresence_penaltyreasoningresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_logprobstop_p