Thinking Machines: Inkling

Thinking Machines: Inkling är en öppen viktmodell för multimodala mixture-of-experts från Thinking Machines Lab. Den har 41B aktiva parametrar av totalt 975B, och den är utformad för allmänna resonemang, kodning, agentiska system och system för verktygsanvändning. På api14 listas den under modell-id:t thinkingmachines/inkling och tillhör kategorin text.

Modellen tar emot text, bild och ljud som indata och producerar text som utdata, så den kan arbeta med blandade medieprompter snarare än enbart text. Dess kontextfönster är 524 288 tokens, och maximal utdata är 471 859 tokens. Den kombinationen av ett långt indatafönster och en stor utdatabudget gör den lämplig för uppgifter där mycket material måste läsas och en betydande mängd text måste skrivas tillbaka i en enda begäran.

Praktiska användningsområden följer av dessa egenskaper. Långa dokument, stora kodbaser och utökade transkript kan skickas in utan tung chunkning, vilket hjälper vid kodgenerering och granskning, resonemang i flera steg över omfattande källmaterial, samt agentiska system eller system för verktygsanvändning som behöver hålla mycket tillstånd i kontexten. Eftersom bilder och ljud kan tillhandahållas tillsammans med text kan samma modell hantera prompter som blandar en skärmbild eller en inspelning med skriftliga instruktioner och sedan returnera ett textsvar. Parametrarna för resonemang och verktyg pekar också mot arbetsflöden där modellen planerar, anropar verktyg och rapporterar resultat.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t thinkingmachines/inkling. De begärandeparametrar som stöds är frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k och top_p. Verktygsanvändning konfigureras med tools och tool_choice, utdatalängd med max_tokens, samplingsbeteende med temperature, top_p, top_k, min_p och straffparametrarna, samt resonemangsbeteende med reasoning, reasoning_effort och include_reasoning. Ett seed kan anges för reproducerbar sampling, och stoppsekvenser kan tillhandahållas för att avsluta genereringen vid valda punkter.

Den främsta begränsningen att ha i åtanke är att utdata endast är text, så uppgifter som kräver generering av bilder eller ljud ligger utanför dess omfattning. Om din arbetsbelastning är helt och hållet text och inte behöver de multimodala indata eller den långa kontexten kan en mindre textmodell vara en enklare lösning. För prompter med blandade medier, mycket långa indata eller verktygsdrivna agenter är Inkling det lämpliga valet bland de modeller som finns tillgängliga här.