Thinking Machines: Inkling

Thinking Machines: Inkling to otwarty model multimodalny typu mixture-of-experts od Thinking Machines Lab. Ma 41B aktywnych parametrów z 975B całkowitych i jest zaprojektowany do ogólnego rozumowania, kodowania oraz systemów agentowych i wykorzystujących narzędzia. W api14 jest wymieniony pod identyfikatorem modelu thinkingmachines/inkling i należy do kategorii tekstowej.

Model przyjmuje tekst, obrazy i dźwięk jako dane wejściowe, a zwraca tekst jako dane wyjściowe, więc może działać na promptach mieszanych mediów, a nie tylko na tekście. Jego okno kontekstu wynosi 524 288 tokenów, a maksymalna długość odpowiedzi to 471 859 tokenów. To połączenie długiego okna wejściowego i dużego budżetu wyjściowego czyni go odpowiednim do zadań, w których trzeba przeczytać dużo materiału i napisać z powrotem znaczną ilość tekstu w jednym żądaniu.

Praktyczne zastosowania wynikają z tych możliwości. Długie dokumenty, duże bazy kodu i rozbudowane transkrypcje można przekazywać bez intensywnego dzielenia na fragmenty, co pomaga w generowaniu i przeglądzie kodu, wieloetapowym rozumowaniu nad obszernym materiałem źródłowym oraz w systemach agentowych lub wykorzystujących narzędzia, które muszą utrzymywać dużo stanu w kontekście. Ponieważ obrazy i dźwięk można dostarczać razem z tekstem, ten sam model może obsługiwać prompty łączące zrzut ekranu lub nagranie z pisemnymi instrukcjami, a następnie zwracać odpowiedź tekstową. Parametry rozumowania i narzędzi wskazują też na przepływy pracy, w których model planuje, wywołuje narzędzia i raportuje wyniki.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu thinkingmachines/inkling. Obsługiwane parametry żądania to frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k i top_p. Użycie narzędzi konfiguruje się przez tools i tool_choice, długość wyjścia przez max_tokens, zachowanie próbkowania przez temperature, top_p, top_k, min_p i parametry kar, a zachowanie rozumowania przez reasoning, reasoning_effort i include_reasoning. Można ustawić seed dla powtarzalnego próbkowania, a sekwencje stop można podać, aby zakończyć generowanie w wybranych punktach.

Głównym ograniczeniem, o którym trzeba pamiętać, jest to, że wyjściem jest wyłącznie tekst, więc zadania wymagające generowania obrazów lub dźwięku są poza jego zakresem. Jeśli Twoje obciążenie jest czysto tekstowe i nie potrzebuje multimodalnych danych wejściowych ani długiego kontekstu, mniejszy model tekstowy może być prostszym wyborem. Do promptów mieszanych mediów, bardzo długich danych wejściowych lub agentów sterowanych narzędziami Inkling jest odpowiednim wyborem spośród dostępnych tutaj modeli.