MythoMax 13B

MythoMax 13B to model tekstowy od Gryphe, zidentyfikowany na api14 jako gryphe/mythomax-l2-13b. Jest to fine-tune modelu Llama 2 13B, powstały w wyniku scalania, a nie pojedynczego przebiegu treningowego, a Gryphe opisuje go jako jeden z najwyżej ocenianych i najpopularniejszych fine-tunów tego modelu bazowego. Należy do kategorii tekstowej, więc jest przeznaczony do pracy z językiem, a nie do obrazów, dźwięku lub innych modalności.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe. Ma okno kontekstu wynoszące 8192 tokeny, co obejmuje dość długi prompt plus wygenerowaną odpowiedź, a jego maksymalne wyjście to 3686 tokenów. Jego data odcięcia wiedzy to 30 czerwca 2023, więc wszystko po tej dacie wykracza poza to, czego nauczył się podczas treningu. Gryphe wskazuje bogate opisy i odgrywanie ról jako szczególne mocne strony tego fine-tune'u, co jest użytecznym sygnałem co do rodzaju prozy, jaką zwykle produkuje.

Te cechy wskazują na dość konkretny zestaw zastosowań. Mocne strony w odgrywaniu ról i bogatym opisie czynią go naturalnym wyborem do fikcji interaktywnej, czatu opartego na postaciach oraz generowania narracji lub dialogów, gdzie ton i szczegółowość mają znaczenie. Kontekst 8192 tokenów pozwala utrzymać długą rozmowę lub znaczącą scenę w polu widzenia bez ciągłego przycinania, a limit wyjścia 3686 tokenów wspiera odpowiedzi rozciągające się na kilka akapitów. Poza twórczym pisaniem sprawdza się w ogólnym generowaniu tekstu i asystentach w stylu czatu, choć data odcięcia wiedzy oznacza, że nie należy na nim polegać w pytaniach o zdarzenia po czerwcu 2023.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu gryphe/mythomax-l2-13b, więc istniejące biblioteki klienckie OpenAI i kształty żądań działają po zmianie jedynie nazwy modelu. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs oraz top_p. To szeroka powierzchnia próbkowania i kontroli: zwykłe ustawienia temperature, top_p, top_k i kary, plus min_p, top_a i repetition_penalty, które są powszechne w społecznościowych workflowach fine-tune'ów. Seed zapewnia powtarzalne próbkowanie, sekwencje stop pozwalają przerwać generowanie na wybranym ciągu, a logprobs z top_logprobs ujawniają prawdopodobieństwa na poziomie tokenów. response_format i structured_outputs są dostępne, jeśli potrzebujesz wyjścia ukształtowanego w określony sposób.

Główne ograniczenia, o których należy pamiętać, to kontekst 8192 tokenów i limit wyjścia 3686 tokenów, wraz z datą odcięcia wiedzy czerwiec 2023. Jeśli twoje zadanie wymaga znacznie większego kontekstu, bardziej aktualnej wiedzy lub danych wejściowych innych niż tekst, lepiej pasować będzie inny model na api14. Do twórczego pisania, czatu z postaciami i ogólnego generowania tekstu w tych granicach ten model jest rozsądnym wyborem.