Thinking Machines: Inkling Small (free)

Thinking Machines: Inkling Small (free) é um modelo de texto da Thinking Machines. É um modelo multimodal de mistura de especialistas com pesos abertos da Thinking Machines Lab, com 12B de parâmetros ativos de um total de 276B. O fornecedor descreve-o como o membro mais pequeno e mais eficiente da sua família, o que indica onde se situa na linha: uma opção compacta em vez do maior modelo que o laboratório oferece.

O modelo aceita texto, imagem e áudio como entrada, e produz apenas texto. Essa combinação torna-o um leitor multimodal em vez de um gerador de media: pode dar-lhe prompts escritos, imagens ou áudio e receber respostas escritas. A sua janela de contexto é de 1.048.576 tokens, e a saída máxima é de 262.144 tokens. O comprimento do contexto é o número de destaque aqui, uma vez que é suficientemente grande para conter documentos muito longos, transcrições longas ou conversas extensas num único pedido sem fragmentação.

Essas capacidades apontam para um conjunto de utilizações bastante específico. O trabalho com documentos longos é o mais óbvio: resumir, extrair dados estruturados de, ou responder a perguntas sobre ficheiros grandes que de outra forma teriam de ser divididos por muitas chamadas. Como imagens e áudio são aceites como entrada, o mesmo modelo pode tratar tarefas como descrever ou extrair texto de imagens, ou trabalhar sobre fala gravada, sem um passo separado de transcrição. O suporte de raciocínio significa que também pode ser usado para problemas em que se quer que o modelo trabalhe através de passos antes de responder, e a chamada de ferramentas permite-lhe integrar-se num ciclo de agente que recorre a funções externas.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo "thinkingmachines/inkling-small:free". Os parâmetros de pedido suportados são frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, seed, stop, temperature, tools e top_p. Na prática, isso cobre os controlos de amostragem habituais (temperature, top_p, penalizações de frequência e presença, sequências de paragem, seed para reprodutibilidade), o comprimento da saída via max_tokens, e as opções relacionadas com raciocínio e ferramentas: reasoning e include_reasoning para controlar se o raciocínio é devolvido, reasoning_effort para orientar quanto esforço é gasto, e tools para chamada de funções.

Há duas coisas que vale a pena verificar antes de se comprometer. O modelo produz apenas texto, por isso se precisar de imagens ou áudio gerados, não é a opção certa. E embora a janela de contexto seja muito grande, a variante gratuita tem o sufixo ":free" no seu id de modelo, o que é um sinal sobre como é oferecido e não uma afirmação sobre capacidade; se precisar de um membro maior ou mais capaz da mesma família, compare com os outros modelos Inkling na api14.