Mistral Large 2407

Mistral Large 2407 to model generowania tekstu od Mistral, identyfikowany w api14 jako mistralai/mistral-large-2407. To flagowy model Mistral, Mistral Large 2, w wersji 2407, a Mistral opisuje go jako model zastrzeżony z dostępnymi wagami. Został udostępniony przez dostawcę 2024-11-19, a jego data odcięcia wiedzy to 2024-03-31.

Model przyjmuje dane wejściowe w postaci tekstu i plików oraz zwraca tekst. Ma okno kontekstu wynoszące 131072 tokeny i maksymalne wyjście 104857 tokenów, więc długie dane wejściowe i długie generacje są możliwe w tym samym żądaniu. Mistral pozycjonuje go jako mocny w rozumowaniu, kodzie, JSON i czacie. Obsługiwane parametry żądania obejmują temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools i tool_choice.

Ponieważ dobrze radzi sobie z rozumowaniem, kodem i JSON, nadaje się do zadań takich jak wieloetapowa analiza, generowanie i przegląd kodu oraz asystenci czatu, którzy muszą prowadzić długą rozmowę lub utrzymywać duży dokument w kontekście. Modalność wejścia plikowego czyni go użytecznym w przepływach pracy, w których dokument jest dostarczany razem z pytaniem, a parametry wyjścia strukturalnego i wywoływania narzędzi sprawiają, że jest rozsądnym wyborem dla potoków wymagających odpowiedzi czytelnych maszynowo lub łączących model z funkcjami zewnętrznymi. Wysoki limit wyjścia pomaga, gdy sama odpowiedź jest długa, na przykład pełny plik, szczegółowy raport lub rozszerzone wyjaśnienie.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "mistralai/mistral-large-2407". Żądania mają kształt uzupełnień czatu OpenAI, więc wysyłasz wiadomości i ustawiasz parametry w zwykłych polach. Model obsługuje frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools i top_p. Użyj response_format lub structured_outputs, gdy potrzebujesz JSON, oraz tools z tool_choice, gdy chcesz, aby model wywołał zdefiniowane przez Ciebie funkcje. Parametr seed pozwala uczynić próbkowanie bardziej powtarzalnym, a stop pozwala przerwać generowanie na wybranej sekwencji.

Pamiętaj o dacie odcięcia wiedzy 2024-03-31: model nie będzie znał wydarzeń ani zmian w bibliotekach po tej dacie, więc w przypadku najnowszych informacji należy dostarczyć je w prompcie lub przez plik. Jeśli Twoje zadanie nie jest oparte na tekście, ten model nie będzie odpowiedni, ponieważ przyjmuje tylko tekst i pliki, a zwraca wyłącznie tekst. W tych granicach jest ogólnym wyborem do pracy z rozumowaniem, kodem i JSON, a lista parametrów daje wystarczającą kontrolę nad próbkowaniem, kształtem wyjścia i użyciem narzędzi, aby zintegrować go z istniejącym kodem zgodnym z OpenAI przy niewielkich zmianach.