Mistral: Mistral Nemo

Mistral Nemo to model tekstowy od Mistral, zbudowany we współpracy z NVIDIA. To model z 12B parametrów, a data premiery u dostawcy to 19 lipca 2024. Model jest wielojęzyczny, obsługuje angielski, francuski, niemiecki, hiszpański, włoski, portugalski, chiński, japoński i inne języki. Jeśli wybierasz model do projektu, ten znajduje się w mniejszej, wydajnej kategorii oferty Mistral, a nie wśród największych flagowych modeli.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe, więc jest to prosty model językowy bez obsługi obrazu ani dźwięku. Jego okno kontekstu wynosi 131072 tokenów, co wystarcza na długie dokumenty, rozbudowane rozmowy lub spore pliki kodu w jednym żądaniu. Maksymalna długość danych wyjściowych to 16384 tokenów, więc odpowiedzi mogą być długie, ale są ograniczone znacznie poniżej limitu danych wejściowych. Granica wiedzy modelu to 30 kwietnia 2024, co ma znaczenie, jeśli Twoje zadanie zależy od zdarzeń lub informacji po tej dacie.

Te możliwości wskazują na kilka praktycznych zastosowań. Długi kontekst nadaje się do streszczania lub wyodrębniania informacji z obszernych raportów, umów i transkrypcji, a obsługa wielu języków pomaga w tłumaczeniu oraz w aplikacjach obsługujących użytkowników w kilku językach. Ponieważ model przyjmuje i zwraca wyłącznie tekst, pasuje do asystentów czatu, odpowiadania na pytania na podstawie dostarczonych dokumentów, tworzenia i przepisywania tekstu, klasyfikacji oraz innych zadań przekształcania tekstu. Limit danych wyjściowych wynoszący 16384 tokenów oznacza, że bardzo długie generowane dokumenty mogą wymagać utworzenia w kilku przebiegach.

Możesz wywołać model przez API zgodne z OpenAI w api14, używając identyfikatora modelu "mistralai/mistral-nemo". Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs i top_p. Ten zestaw obejmuje kontrolę próbkowania, deterministyczne ustawianie ziarna, sekwencje stopu, ustrukturyzowane dane wyjściowe i wywoływanie narzędzi, więc możesz kształtować zarówno styl danych wyjściowych, jak i ich format, nie wychodząc poza standardowy interfejs.

Warto pamiętać o kilku ograniczeniach. Dane wejściowe i wyjściowe to wyłącznie tekst, więc zadania wymagające analizy obrazów lub dźwięku potrzebują innego modelu. Granica wiedzy z 30 kwietnia 2024 oznacza, że model nie ma wbudowanej świadomości późniejszych zdarzeń, a limit danych wyjściowych wynoszący 16384 tokenów ogranicza długość pojedynczej odpowiedzi. Jeśli Twoje obciążenie zależy od którejkolwiek z tych rzeczy, lepiej może pasować inny model.