Mistral: Mistral Small 3

Mistral Small 3 to model generowania tekstu od Mistral, udostępniony przez dostawcę 30 stycznia 2025. To model językowy z 24B parametrów zoptymalizowany pod niskie opóźnienia w typowych zadaniach AI, udostępniony na licencji Apache 2.0. Istnieją zarówno wersja wstępnie wytrenowana, jak i dostrojona instrukcjami, a wariant dostrojony instrukcjami jest tym udostępnianym tutaj pod identyfikatorem modelu mistralai/mistral-small-24b-instruct-2501.

Model przyjmuje tekst na wejściu i zwraca tekst na wyjściu, więc pasuje do standardowych zastosowań w stylu czatu i uzupełniania. Ma okno kontekstu wynoszące 32768 tokenów, które obejmuje razem prompt i wygenerowaną odpowiedź, i może wygenerować do 16384 tokenów w jednym wyjściu. Jego data odcięcia wiedzy to 31 października 2023, więc wszystko, co wydarzyło się po tej dacie, wykracza poza to, czego model nauczył się podczas treningu. Połączenie umiarkowanej liczby parametrów i kontekstu 32k czyni go modelem instruowanym ogólnego przeznaczenia, a nie specjalistą w jednym wąskim zadaniu.

Ponieważ jest dostrojony instrukcjami i zoptymalizowany pod niskie opóźnienia, model nadaje się do codziennych zadań, w których liczy się szybkość odpowiedzi: asystentów czatu, streszczania, przepisywania, klasyfikacji, ekstrakcji i odpowiadania na pytania na podstawie materiału mieszczącego się w oknie kontekstu. Limit wyjścia 16384 tokenów pozwala na dłuższe generacje, takie jak wieloakapitowe szkice lub dokumenty strukturalne, a kontekst 32768 tokenów obsługuje prompty zawierające spory fragment tekstu referencyjnego, na przykład kilka dokumentów lub długą historię rozmowy. Odbiorcami są deweloperzy potrzebujący niezawodnego modelu tekstowego dla punktów końcowych o dużym natężeniu ruchu i wrażliwych na opóźnienia.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu mistralai/mistral-small-24b-instruct-2501, co oznacza, że istniejące biblioteki klienckie OpenAI i kształty żądań działają po zmianie jedynie nazwy modelu. Model obsługuje frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k i top_p. Ustrukturyzowane wyjścia i response_format są dostępne w przypadkach, gdy potrzebujesz odpowiedzi w zdefiniowanym kształcie, a seed może pomóc uczynić próbkowanie bardziej powtarzalnym. Zachowanie próbkowania jest kontrolowane przez temperature, top_p, top_k i min_p, natomiast repetition_penalty, frequency_penalty i presence_penalty kształtują to, jak bardzo model się powtarza.

Przed podjęciem decyzji warto zauważyć dwa praktyczne ograniczenia. Data odcięcia wiedzy 31 października 2023 oznacza, że model nie ma wbudowanej świadomości późniejszych wydarzeń, więc aplikacje zależne od niedawnych informacji muszą dostarczyć je w prompcie. Wejście i wyjście są wyłącznie tekstowe, więc jeśli Twoje zastosowanie obejmuje obrazy lub dźwięk, ten model nie jest właściwym wyborem. A przy oknie kontekstu 32768 tokenów bardzo duże dane wejściowe będą wymagały podziału na fragmenty lub wyszukiwania zamiast przekazywania ich w całości.