Thinking Machines: Inkling Small (free)

Thinking Machines: Inkling Small (free) is een tekstmodel van Thinking Machines. Het is een open-weight multimodaal mixture-of-experts-model van Thinking Machines Lab, met 12B actieve parameters van in totaal 276B. De provider beschrijft het als het kleinere, efficiëntere lid van zijn familie, wat aangeeft waar het in de line-up staat: een compacte optie in plaats van het grootste model dat het lab biedt.

Het model accepteert tekst, afbeeldingen en audio als invoer, en produceert alleen tekst. Die combinatie maakt het een multimodale lezer in plaats van een generator van media: je kunt het geschreven prompts, afbeeldingen of audio geven en krijgt er geschreven antwoorden op terug. Het contextvenster is 1.048.576 tokens, en de maximale uitvoer is 262.144 tokens. De contextlengte is hier het opvallendste getal, want die is groot genoeg om zeer lange documenten, lange transcripten of uitgebreide gesprekken in één verzoek te bevatten zonder op te splitsen.

Die mogelijkheden wijzen op een tamelijk specifieke set toepassingen. Werk met lange documenten is de voor de hand liggende: samenvatten, gestructureerde gegevens extraheren uit, of vragen beantwoorden over grote bestanden die anders over veel aanroepen verdeeld zouden moeten worden. Omdat afbeeldingen en audio als invoer worden geaccepteerd, kan hetzelfde model taken aan zoals het beschrijven of extraheren van tekst uit afbeeldingen, of het werken met opgenomen spraak, zonder een aparte transcriptiestap. Ondersteuning voor redeneren betekent dat het ook kan worden gebruikt voor problemen waarbij je wilt dat het model stappen doorloopt voordat het antwoordt, en tool calling laat het binnen een agent-lus passen die externe functies aanroept.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "thinkingmachines/inkling-small:free". De ondersteunde verzoekparameters zijn frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, seed, stop, temperature, tools en top_p. In de praktijk dekt dat de gebruikelijke sampling-besturing (temperature, top_p, frequency- en presence-penalties, stop-reeksen, seed voor reproduceerbaarheid), uitvoerlengte via max_tokens, en de opties rond redeneren en tools: reasoning en include_reasoning om te bepalen of redeneringen worden teruggegeven, reasoning_effort om te sturen hoeveel inspanning eraan wordt besteed, en tools voor function calling.

Twee dingen zijn het controleren waard voordat je je vastlegt. Het model voert alleen tekst uit, dus als je gegenereerde afbeeldingen of audio nodig hebt, is het niet de juiste keuze. En hoewel het contextvenster zeer groot is, draagt de gratis variant het achtervoegsel ":free" in zijn model-id, wat een signaal is over hoe het wordt aangeboden en geen uitspraak over capaciteit; als je een groter of capabeler lid van dezelfde familie nodig hebt, vergelijk dan met de andere Inkling-modellen op api14.