Mistral Large

Mistral Large to model generowania tekstu od Mistral, pozycjonowany przez dostawcę jako jego flagowy model. Wersja udostępniana tutaj to Mistral Large 2 (mistral-large-2407), model o zastrzeżonych wagach dostępnych na życzenie, który Mistral opisuje jako mocny w rozumowaniu, kodzie, JSON i czacie. Został wydany przez dostawcę 26 lutego 2024, a jego data odcięcia wiedzy to 30 listopada 2024, więc wszystko, co wydarzyło się po tej dacie, wykracza poza to, czego model nauczył się podczas treningu.

Model przyjmuje dane wejściowe w postaci tekstu i plików, a zwraca tekst. Ma okno kontekstu wynoszące 128 000 tokenów, co wystarcza do pomieszczenia długich dokumentów, dużych plików kodu lub rozbudowanych rozmów w jednym żądaniu, i może wygenerować do 102 400 tokenów w jednej odpowiedzi. Ponieważ pliki są akceptowanym typem danych wejściowych, możesz przekazać treść dokumentu razem ze swoimi instrukcjami, zamiast wklejać wszystko samodzielnie do promptu. Dane wyjściowe to wyłącznie tekst, więc jeśli potrzebujesz obrazów lub dźwięku, będziesz potrzebować innego modelu.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Długi kontekst i siła rozumowania pasują do analizy dokumentów, streszczania i odpowiadania na pytania dotyczące obszernego materiału źródłowego, w tym umów, raportów i artykułów naukowych dostarczonych jako pliki. Dostawca podkreśla kod i JSON, więc wyjaśnianie kodu, generowanie i refaktoryzacja są rozsądnymi zastosowaniami, podobnie jak tworzenie ustrukturyzowanych ładunków JSON dla systemów podrzędnych. Aplikacje czatowe i w stylu asystenta również działają dobrze, szczególnie gdy rozmowa musi nieść ze sobą dużo wcześniejszego kontekstu bez obcinania.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "mistralai/mistral-large". Ponieważ endpoint jest zgodny ze schematem OpenAI, istniejące biblioteki klienckie OpenAI i kształty żądań działają po zmianie jedynie bazowego adresu URL i identyfikatora modelu. Obsługiwane parametry żądania to frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools i top_p. Wywoływanie narzędzi jest dostępne przez tools i tool_choice, a structured_outputs oraz response_format pozwalają ograniczyć kształt zwracanego tekstu, gdy potrzebujesz niezawodnego JSON. Parametr seed pomaga, gdy chcesz uzyskać powtarzalne próbkowanie, a stop, temperature i top_p dają kontrolę nad tym, gdzie i jak model generuje.

Pamiętaj o dacie odcięcia wiedzy: w przypadku pytań o zdarzenia po 30 listopada 2024 model nie ma wbudowanej wiedzy i będzie potrzebować tych informacji dostarczonych w prompcie lub przez narzędzia. Kontekst 128 000 tokenów i limit wyjścia 102 400 tokenów są hojne, ale skończone, więc bardzo duże zbiory danych nadal wymagają dzielenia na fragmenty lub wyszukiwania. Jeśli Twoje zadanie nie opiera się na tekście lub jeśli konkretnie potrzebujesz modelu z nowszą datą odcięcia, lepszym wyborem może być inny model w api14.