Thinking Machines: Inkling

Thinking Machines: Inkling è un modello misto di esperti multimodale a pesi aperti di Thinking Machines Lab. Ha 41B parametri attivi su 975B totali, ed è progettato per il ragionamento general-purpose, il coding e i sistemi agentici e di uso di strumenti. Su api14 è elencato con l'id del modello thinkingmachines/inkling e rientra nella categoria text.

Il modello accetta testo, immagini e audio come input e produce testo come output, quindi può lavorare su prompt multimediali misti anziché solo su testo. La sua finestra di contesto è di 524.288 token, e l'output massimo è di 471.859 token. Questa combinazione di una lunga finestra di input e di un ampio budget di output lo rende adatto a compiti in cui molto materiale deve essere letto e una quantità sostanziale di testo deve essere riscritta in una singola richiesta.

Gli usi pratici derivano da queste capacità. Documenti lunghi, grandi basi di codice e trascrizioni estese possono essere passati senza un pesante chunking, il che aiuta nella generazione e nella revisione del codice, nel ragionamento multi-step su materiale sorgente lungo e nei sistemi agentici o di uso di strumenti che devono mantenere molto stato nel contesto. Poiché immagini e audio possono essere forniti insieme al testo, lo stesso modello può gestire prompt che mescolano uno screenshot o una registrazione con istruzioni scritte, e poi restituire una risposta testuale. I parametri di reasoning e tool indicano anche flussi di lavoro in cui il modello pianifica, chiama strumenti e riporta i risultati.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello thinkingmachines/inkling. I parametri di richiesta supportati sono frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k e top_p. L'uso degli strumenti è configurato con tools e tool_choice, la lunghezza dell'output con max_tokens, il comportamento di campionamento con temperature, top_p, top_k, min_p e i parametri di penalità, e il comportamento di reasoning con reasoning, reasoning_effort e include_reasoning. Un seed può essere impostato per un campionamento riproducibile, e sequenze di stop possono essere fornite per terminare la generazione in punti scelti.

Il vincolo principale da tenere a mente è che l'output è solo testo, quindi i compiti che richiedono la generazione di immagini o audio sono fuori dal suo ambito. Se il tuo carico di lavoro è puramente testuale e non necessita degli input multimodali o del contesto lungo, un modello più piccolo solo testo può essere una soluzione più semplice. Per prompt multimediali misti, input molto lunghi o agenti guidati da strumenti, Inkling è la scelta appropriata tra i modelli disponibili qui.