Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 to model tekstowy od Sao10K, dostawcy znanego z fine-tunów ukierunkowanych na kreatywne pisanie i odgrywanie ról. Jest zbudowany na Llama 3.1 70B i jest następcą Euryale L3 70B v2.1. Dostawca opisuje go jako skupiony na kreatywnym odgrywaniu ról, więc plasuje się w przestrzeni modeli o otwartych wagach dostrojonych do narracji i rozmów opartych na postaciach, a nie do pracy ogólnego przeznaczenia jako asystent.

Model przyjmuje tekst i zwraca tekst. Ma okno kontekstu wynoszące 131072 tokeny, co jest wystarczająco duże, aby pomieścić długie rozmowy, rozbudowane sceny lub spore dokumenty w jednym żądaniu. Maksymalne wyjście to 16384 tokeny, więc pojedyncza odpowiedź może być dość długa, choć jest mniejsza niż okno wejściowe. Jego data odcięcia wiedzy to 2023-12-31, co ma znaczenie, jeśli Twoje zadanie zależy od zdarzeń po tej dacie. Obsługiwane parametry żądania obejmują temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens i structured_outputs.

Praktyczne zastosowania wynikają z tego profilu. Kreatywne odgrywanie ról i rozmowy z postaciami pasują tu najwyraźniej, ponieważ model został do nich dostrojony. Długie formy fikcji, kontynuacja scen i interaktywne opowiadanie historii również pasują do dużego okna kontekstu, ponieważ można zachować dużo wcześniejszej narracji w prompcie bez jej obcinania. Parametry próbkowania dają precyzyjną kontrolę nad tonem i powtórzeniami, co pomaga, gdy chcesz zachować spójny głos postaci przez długą sesję. Structured outputs mogą być przydatne, gdy chcesz, aby model zwrócił coś bardziej przewidywalnego niż swobodna proza, na przykład podsumowanie sceny lub zestaw pól w potoku odgrywania ról.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "sao10k/l3.1-euryale-70b". Ponieważ interfejs jest zgodny z OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy URL api14 i przekazać ten identyfikator w polu model. Żądanie obsługuje parametry wymienione powyżej, więc możesz ustawić temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens i structured_outputs w razie potrzeby. Tabela cen na stronie obejmuje koszty.

Jedno ograniczenie, o którym warto pamiętać, to data odcięcia wiedzy 2023-12-31, więc wszystko wymagające nowszych informacji nie będzie pochodzić z samego modelu. Limit wyjścia 16384 tokenów oznacza również, że bardzo długie kontynuacje trzeba budować w wielu wywołaniach. Jeśli Twoje zadanie polega na odpowiadaniu na pytania faktograficzne, generowaniu kodu lub używaniu narzędzi, a nie na kreatywnym pisaniu, model ogólnego przeznaczenia może pasować lepiej.