ByteDance: UI-TARS 7B

UI-TARS 7B to model multimodalny od ByteDance, wydany 22 lipca 2025 pod identyfikatorem modelu bytedance/ui-tars-1.5-7b. Należy do rodziny UI-TARS 1.5, linii agentów wizyjno-językowych zbudowanych dla środowisk opartych na GUI. ByteDance opisuje go jako zoptymalizowany pod interfejsy desktopowe, przeglądarki internetowe, systemy mobilne i gry, więc najlepiej rozumieć go jako model zaprojektowany wokół interakcji z ekranami, a nie jako model czatu ogólnego przeznaczenia. Jego data odcięcia wiedzy to 31 stycznia 2025.

Model przyjmuje obrazy i tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, co oznacza, że może spojrzeć na zrzut ekranu lub przechwycenie interfejsu wraz z instrukcją i wygenerować odpowiedź tekstową. Jego okno kontekstowe wynosi 128 000 tokenów, wystarczająco dużo, aby pomieścić długą historię interakcji lub szczegółowy stan interfejsu wraz z instrukcjami, a maksymalna długość odpowiedzi to 2 048 tokenów. Jako model o 7 miliardach parametrów jest stosunkowo mały jak na agenta wizyjno-językowego, co ma znaczenie przy planowaniu opóźnień i przepustowości dla pętli agenta, które wielokrotnie wywołują model.

Te możliwości wskazują na konkretny zestaw praktycznych zastosowań. Ponieważ przyjmuje zrzuty ekranu jako dane wejściowe i jest dostrojony pod środowiska GUI, pasuje do automatyzacji i przepływów pracy agentów, w których model musi interpretować to, co jest na ekranie: czytanie strony internetowej lub okna aplikacji, wykonywanie wieloetapowego zadania w interfejsie desktopowym lub mobilnym albo działanie w środowisku gry. Duże okno kontekstowe pomaga, gdy zadanie wymaga kilku zrzutów ekranu lub bieżącej historii, a wejście obrazowe umożliwia opisywanie, podsumowywanie lub wnioskowanie o zawartości interfejsu, a nie tylko o zwykłym tekście.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu bytedance/ui-tars-1.5-7b. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs i top_p. Ponieważ interfejs jest zgodny z OpenAI, możesz skierować istniejącego klienta OpenAI na api14 i zachować obecną strukturę żądań, dostosowując identyfikator modelu oraz dowolne z powyższych parametrów w razie potrzeby. Parametr seed jest przydatny do powtarzalnych uruchomień, structured_outputs pomaga, gdy chcesz, aby odpowiedź miała stały kształt, a kontrolki próbkowania dają precyzyjny wpływ na to, jak deterministyczne lub zróżnicowane jest wyjście.

Najważniejszą rzeczą do rozważenia jest limit wyjścia. Przy 2 048 tokenach na odpowiedź model nadaje się do zwięzłych odpowiedzi, opisów akcji lub krótkich kroków rozumowania, a nie do długich generowanych dokumentów. Jeśli Twoje zadanie wymaga obszernego wyjścia tekstowego albo w ogóle nie obejmuje obrazów lub stanu interfejsu, lepiej może pasować model tekstowy z wyższym limitem wyjścia. Jednak w ramach swojej zamierzonej roli UI-TARS 7B jest skupioną opcją dla agentów świadomych ekranu, a połączenie wejścia obrazowego, okna kontekstowego o rozmiarze 128 000 tokenów i zgodnego z OpenAI dostępu przez api14 sprawia, że łatwo go przetestować w istniejącym potoku.