Thinking Machines: Inkling Small

Thinking Machines: Inkling Small è un modello misto di esperti multimodale a pesi aperti di Thinking Machines Lab. Ha 12B parametri attivi su 276B totali, ed è posizionato come il membro più piccolo ed efficiente della famiglia Inkling. La data di rilascio del provider è 2026-07-30. Poiché i pesi sono aperti, i team che necessitano di ispezionare, ospitare autonomamente o mettere a punto un modello hanno questa opzione, mentre l'endpoint ospitato su api14 è disponibile per coloro che preferiscono non gestire l'infrastruttura da soli.

Il modello accetta input di testo, immagini e audio e restituisce testo. La sua finestra di contesto è di 524288 token, e l'output massimo è di 262144 token, quindi può ricevere documenti molto grandi, registrazioni lunghe o set di immagini insieme a un prompt e produrre comunque una risposta lunga in una singola chiamata. Il design misto di esperti significa che solo una frazione dei parametri totali è attiva per token, che è la ragione principale per cui un modello di queste dimensioni può essere servito con latenza e throughput ragionevoli. Il comportamento di ragionamento è esposto tramite l'API, quindi puoi decidere quanta deliberazione interna desideri prima della risposta finale.

Queste capacità indicano un insieme di utilizzi abbastanza specifico. Il lavoro a contesto lungo è il candidato ovvio: riassumere o interrogare grandi basi di codice, set di contratti, corpora di ricerca o cronologie di ticket di supporto che non entrerebbero in una finestra più piccola. L'input multimodale lo rende utile per attività che mescolano formati, come estrarre dati strutturati da documenti scansionati con immagini incorporate, trascrivere e poi ragionare su audio, o rispondere a domande su uno screenshot più un brief scritto. Il supporto al tool calling e al ragionamento si adatta a flussi di lavoro in stile agente in cui il modello deve decidere quale funzione invocare e poi spiegare il risultato.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id "thinkingmachines/inkling-small". I parametri di richiesta supportati sono frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k e top_p. Se hai già codice scritto per la forma delle chat completions di OpenAI, passare a questo modello è per lo più questione di cambiare la stringa del modello e, se desideri output di ragionamento, impostare include_reasoning o reasoning_effort.

È un modello con output testuale, quindi tutto ciò che richiede immagini, audio o video generati è fuori ambito qui. Il limite di output di 262144 token è generoso ma comunque finito, il che conta per lavori di generazione molto lunghi. Se il tuo carico di lavoro è piccolo, sensibile alla latenza e puramente testuale, un modello più leggero può essere più economico da eseguire, e se hai bisogno di modalità di output oltre il testo, avrai bisogno di un modello diverso.