Mistral: Mistral Medium 3.5 (batch)

Mistral Medium 3.5 (batch) to model generowania tekstu od Mistral AI, identyfikowany na api14 jako mistralai/mistral-medium-3-5:batch. Jest to gęsty model 128B podążający za instrukcjami, co oznacza, że wszystkie jego parametry są aktywne przy każdym żądaniu, zamiast być kierowane przez konfigurację mixture-of-experts. Wariant batch to wersja udostępniona przez ten endpoint, a model należy do kategorii tekstowej na api14.

Model przyjmuje dane wejściowe w postaci tekstu, obrazów i plików, a zwraca wyłącznie tekst. Jego okno kontekstowe wynosi 262 144 tokeny, a maksymalna długość wyjścia to 209 715 tokenów, więc może przyjąć bardzo duże dane wejściowe i wygenerować długie odpowiedzi w jednym wywołaniu. Ponieważ obrazy i pliki są akceptowane razem z tekstem, można wysyłać mieszane prompty łączące pisemne instrukcje z treścią wizualną lub dokumentową, a model przeanalizuje to wszystko przed wygenerowaniem odpowiedzi.

Te możliwości wskazują na kilka praktycznych zastosowań. Duże okno kontekstowe pasuje do pracy nad długimi dokumentami, bazami kodu lub danymi wejściowymi z wielu plików, gdzie w przeciwnym razie trzeba by dzielić i łączyć wyniki. Wejście obrazowe czyni go odpowiednim do zadań łączących zrzuty ekranu, diagramy lub zeskanowane strony z instrukcjami tekstowymi. Mistral opisuje ten model jako zaprojektowany do przepływów agentowych, kodowania i złożonych zadań, więc wywoływanie narzędzi i generowanie strukturalne to rozsądne punkty wyjścia. Wariant batch to naturalny wybór do zadań offline lub zorientowanych na przepustowość, gdzie przesyła się wiele żądań i zbiera wyniki, a nie do interaktywnego czatu, gdzie najbardziej liczy się opóźnienie.

Model wywołuje się przez kompatybilne z OpenAI API api14, używając identyfikatora modelu mistralai/mistral-medium-3-5:batch. Endpoint obsługuje frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools oraz top_p. W praktyce oznacza to, że można kontrolować próbkowanie za pomocą temperature, top_p i dwóch parametrów kary, ograniczać wyjście przez max_tokens, ustalać losowość przez seed i definiować sekwencje stop. Do pracy strukturalnej response_format i structured_outputs pozwalają ograniczyć kształt odpowiedzi, natomiast tools i tool_choice obsługują wywoływanie funkcji, a parametry reasoning pozwalają dostroić, ile wewnętrznego rozumowania model ujawnia lub wykonuje.

Jedna rzecz do rozważenia to oznaczenie batch. Jeśli aplikacja wymaga odpowiedzi o niskim opóźnieniu, tura po turze, model niebędący wariantem batch będzie prawdopodobnie lepszym wyborem, i to samo dotyczy sytuacji, gdy potrzebne są tylko wejście i wyjście tekstowe, ponieważ modalności obrazów i plików pozostałyby niewykorzystane. Kontekst 262 144 tokenów i limit wyjścia 209 715 tokenów są hojne, ale wciąż skończone, więc wyjątkowo duże zbiory danych mogą wymagać podziału na wywołania. W tych granicach model obejmuje pracę z tekstem w długim kontekście, prompty multimodalne, kodowanie i przepływy agentowe oparte na narzędziach z jednego endpointu.