Thinking Machines: Inkling Small (free)

Thinking Machines: Inkling Small (free) to model tekstowy od Thinking Machines. Jest to otwarty multimodalny model typu mixture-of-experts od Thinking Machines Lab, z 12B aktywnych parametrów na 276B łącznie. Dostawca opisuje go jako mniejszego, bardziej wydajnego członka swojej rodziny, co mówi, gdzie plasuje się w ofercie: kompaktowa opcja, a nie największy model oferowany przez laboratorium.

Model przyjmuje tekst, obraz i dźwięk jako dane wejściowe, a generuje wyłącznie tekst. Ta kombinacja czyni go multimodalnym czytnikiem, a nie generatorem mediów: możesz przekazać mu pisemne polecenia, obrazy lub dźwięk i otrzymać pisemne odpowiedzi. Jego okno kontekstu wynosi 1 048 576 tokenów, a maksymalna długość odpowiedzi to 262 144 tokeny. Długość kontekstu jest tutaj kluczową liczbą, ponieważ jest wystarczająco duża, aby pomieścić bardzo długie dokumenty, długie transkrypcje lub rozbudowane rozmowy w jednym żądaniu bez dzielenia na fragmenty.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Praca z długimi dokumentami jest oczywista: streszczanie, wyodrębnianie danych strukturalnych lub odpowiadanie na pytania dotyczące dużych plików, które w innym przypadku trzeba by podzielić na wiele wywołań. Ponieważ obrazy i dźwięk są akceptowane jako dane wejściowe, ten sam model może obsługiwać zadania takie jak opisywanie lub wyodrębnianie tekstu z obrazów albo praca z nagraną mową bez osobnego kroku transkrypcji. Obsługa rozumowania oznacza, że można go również używać do problemów, w których chcesz, aby model przeszedł przez kroki przed udzieleniem odpowiedzi, a wywoływanie narzędzi pozwala mu działać w pętli agenta, która sięga do zewnętrznych funkcji.

Wywołujesz go przez kompatybilne z OpenAI API api14, używając identyfikatora modelu "thinkingmachines/inkling-small:free". Obsługiwane parametry żądania to frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, seed, stop, temperature, tools i top_p. W praktyce obejmuje to zwykłe kontrolki próbkowania (temperature, top_p, kary za częstotliwość i obecność, sekwencje stop, seed dla powtarzalności), długość odpowiedzi przez max_tokens oraz opcje związane z rozumowaniem i narzędziami: reasoning i include_reasoning do kontrolowania, czy rozumowanie jest zwracane, reasoning_effort do sterowania tym, ile wysiłku się zużywa, oraz tools do wywoływania funkcji.

Dwie rzeczy warto sprawdzić przed podjęciem decyzji. Model generuje wyłącznie tekst, więc jeśli potrzebujesz generowanych obrazów lub dźwięku, nie jest to właściwy wybór. A chociaż okno kontekstu jest bardzo duże, darmowy wariant ma w identyfikatorze modelu sufiks ":free", co jest sygnałem o sposobie jego oferowania, a nie stwierdzeniem o możliwościach; jeśli potrzebujesz większego lub bardziej zaawansowanego członka tej samej rodziny, porównaj z innymi modelami Inkling na api14.