Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct to model tekstowy od Mistral, udostępniony przez dostawcę 17 kwietnia 2024. Jest to oficjalna wersja Mixtral 8x22B dostrojona instrukcjami, rzadki projekt mieszaniny ekspertów, który wykorzystuje 39B aktywnych parametrów ze 141B. Dostrajanie instrukcjami dostosowuje model bazowy do wykonywania poleceń i bezpośredniego odpowiadania na żądania, czego większość twórców aplikacji oczekuje, wywołując model przez API.

Model przyjmuje dane wejściowe w postaci tekstu i plików, a zwraca tekst. Jego okno kontekstu wynosi 65 536 tokenów, a maksymalna długość odpowiedzi to 52 428 tokenów, więc zarówno długie dane wejściowe, jak i długie generowania są możliwe w ramach tego samego żądania. Data odcięcia wiedzy to 31 stycznia 2024, co oznacza, że wszystko po tej dacie wykracza poza to, na czym model był trenowany. Mistral podkreśla mocną matematykę i kodowanie jako szczególne zalety tego modelu, obok efektywności kosztowej w stosunku do jego rozmiaru.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Długi kontekst sprzyja pracy nad dużymi dokumentami, niezależnie od tego, czy chodzi o streszczenie długiego raportu, wyodrębnienie uporządkowanych szczegółów z pliku, czy odpowiadanie na pytania na podstawie tekstu dostarczonego w prompcie. Mocne strony w matematyce i kodowaniu czynią go rozsądnym wyborem do wspomagania kodu, takiego jak wyjaśnianie lub generowanie kodu, oraz do zadań ilościowych wymagających rozumowania krok po kroku. Ponieważ przyjmuje pliki jako dane wejściowe, można go używać w potokach, w których dokumenty są przekazywane bezpośrednio, a nie wklejane jako zwykły tekst. Wywoływanie narzędzi i ustrukturyzowane wyniki czynią go również odpowiednim do przepływów pracy w stylu agentów oraz do tworzenia odpowiedzi, które kod przetwarzający może analizować.

Wywołujesz go przez kompatybilne z OpenAI API api14, używając identyfikatora modelu "mistralai/mixtral-8x22b-instruct". Obsługiwane parametry żądania to frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools i top_p. W praktyce obejmuje to zwykłe mechanizmy kontroli próbkowania (temperature, top_p, kary, seed, stop), długość odpowiedzi przez max_tokens, kształtowanie odpowiedzi przez response_format i structured_outputs oraz wywoływanie funkcji przez tools i tool_choice. Jeśli masz już kod napisany pod kształt uzupełnień czatu OpenAI, przejście na ten model to głównie kwestia zmiany identyfikatora modelu.

Jedna rzecz do zapamiętania to data odcięcia wiedzy 31 stycznia 2024, więc pytania o późniejsze wydarzenia nie będą odpowiadane na podstawie danych treningowych i mogą wymagać wyszukiwania lub kontekstu dostarczonego w prompcie. Model jest wyłącznie tekstowy po stronie odpowiedzi, więc zadania wymagające generowania obrazów lub dźwięku są poza zakresem. Jeśli Twoje obciążenie zależy od bardzo świeżych informacji lub modalności wykraczających poza tekst i dane wejściowe w postaci plików, lepiej może pasować inny model.