Thinking Machines: Inkling Small

Thinking Machines: Inkling Small är en öppen viktmodell för multimodala mixture-of-experts från Thinking Machines Lab. Den har 12B aktiva parametrar av totalt 276B, och den positioneras som den mindre, mer effektiva medlemmen av Inkling-familjen. Leverantörens utgivningsdatum är 2026-07-30. Eftersom vikterna är öppna har team som behöver inspektera, egenhosta eller finjustera en modell den möjligheten, medan den hostade endpointen på api14 finns tillgänglig för dem som hellre inte kör infrastrukturen själva.

Modellen tar emot text, bild och ljud som indata och returnerar text. Dess kontextfönster är 524288 tokens, och maximal utdata är 262144 tokens, så den kan ta in mycket stora dokument, långa inspelningar eller bilduppsättningar tillsammans med en prompt och ändå producera ett långt svar i ett enda anrop. Mixture-of-experts-designen innebär att bara en bråkdel av de totala parametrarna är aktiva per token, vilket är huvudorsaken till att en modell av denna storlek kan serveras med rimlig latens och genomströmning. Resonemangsbeteende exponeras via API:et, så du kan bestämma hur mycket intern överläggning du vill ha innan det slutliga svaret.

Dessa förmågor pekar mot en ganska specifik uppsättning användningsområden. Långkontextarbete är den uppenbara matchningen: sammanfatta eller ställa frågor till stora kodbaser, avtalsuppsättningar, forskningskorpusar eller historik över supportärenden som inte skulle rymmas i ett mindre fönster. Multimodal indata gör den användbar för uppgifter som blandar format, till exempel att extrahera strukturerad data från skannade dokument med inbäddade bilder, transkribera och sedan resonera kring ljud, eller svara på frågor om en skärmbild plus en skriftlig brief. Stöd för verktygsanrop och resonemang passar agentliknande arbetsflöden där modellen behöver avgöra vilken funktion som ska anropas och sedan förklara sitt resultat.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "thinkingmachines/inkling-small". De parametrar som stöds i förfrågan är frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k och top_p. Om du redan har kod skriven mot OpenAI chat completions-formen är bytet till denna modell mest en fråga om att ändra modellsträngen och, om du vill ha resonemangsutdata, ställa in include_reasoning eller reasoning_effort.

Det är en modell med textutdata, så allt som kräver genererade bilder, ljud eller video faller utanför ramen här. Gränsen på 262144 tokens för utdata är generös men fortfarande ändlig, vilket spelar roll för mycket långa genereringsjobb. Om din arbetsbelastning är liten, latenskänslig och enbart textbaserad kan en lättare modell vara billigare att köra, och om du behöver utdatamodaliteter bortom text behöver du en annan modell.