Mistral: Saba

Mistral: Saba to model tekstowy od Mistral, udostępniony przez dostawcę 17 lutego 2025. Jest to model językowy z 24 miliardami parametrów, zaprojektowany specjalnie dla Bliskiego Wschodu i Azji Południowej, trenowany na wyselekcjonowanych danych regionalnych, aby dostarczać dokładne i odpowiednie kontekstowo odpowiedzi przy zachowaniu wydajnego działania. Jego data odcięcia wiedzy to 30 września 2024.

Model przyjmuje dane wejściowe w postaci tekstu i plików oraz zwraca tekst. Ma okno kontekstu wynoszące 32 768 tokenów i maksymalną długość odpowiedzi 26 214 tokenów, więc może obsłużyć dość długie dane wejściowe i wygenerować obszerne uzupełnienia w ramach jednego żądania. Obsługiwane parametry żądania obejmują frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools oraz top_p. Obecność tools i tool_choice oznacza, że model można wykorzystać w przepływach pracy opartych na wywoływaniu funkcji lub w stylu agentowym, natomiast structured_outputs i response_format pozwalają ograniczyć kształt zwracanego tekstu.

Ze względu na swoje regionalne ukierunkowanie Saba nadaje się do zastosowań, w których znaczenie mają język, terminologia i kontekst Bliskiego Wschodu oraz Azji Południowej: asystenci wsparcia klienta, generowanie i streszczanie treści dla odbiorców w tych regionach, odpowiadanie na pytania dotyczące dokumentów na podstawie przesłanych plików oraz zadania ekstrakcji lub klasyfikacji, w których lokalnie istotne sformułowania wpływają na jakość. Modalność wejściowa w postaci plików jest przydatna w przepływach pracy, które przekazują dokumenty bezpośrednio do modelu zamiast wklejać tekst, a parametry narzędzi obsługują potoki wymagające wywoływania zewnętrznych funkcji lub API. Kontekst 32 768 tokenów jest wystarczający dla długich raportów, wieloetapowych rozmów i umiarkowanych zbiorów dokumentów, choć bardzo duże korpusy będą wymagały dzielenia na fragmenty lub wyszukiwania.

Model wywołujesz przez zgodne z OpenAI API api14, używając identyfikatora modelu "mistralai/mistral-saba". Skieruj istniejącego klienta OpenAI na bazowy adres URL api14, wyślij żądanie chat completions z tym identyfikatorem i przekaż dowolny z obsługiwanych parametrów wymienionych powyżej w zwykły sposób. Ponieważ interfejs jest zgodny z OpenAI, kod napisany dla modeli OpenAI zasadniczo działa przy minimalnych zmianach poza identyfikatorem modelu i punktem końcowym.

Pamiętaj o limitach kontekstu i odpowiedzi podczas projektowania żądań: dane wejściowe przekraczające 32 768 tokenów muszą zostać przycięte lub podzielone, a odpowiedzi są ograniczone do 26 214 tokenów. Jeśli Twoje zadanie zależy od wiedzy po 30 września 2024 lub wykracza poza obszar Bliskiego Wschodu i Azji Południowej, gdzie lepszym wyborem może być model ogólnego przeznaczenia, rozważ inny model w api14.