Magnum v4 72B

Magnum v4 72B to model generowania tekstu od Anthracite Org, wydany 22 października 2024. Jest częścią serii stworzonej, aby odtworzyć jakość prozy modeli Claude 3, konkretnie Sonnet i Opus. Model jest dostrajany na bazie Qwen2.5 72B, bazie z 72 miliardami parametrów, więc dziedziczy ten fundament, będąc jednocześnie dostrojonym do określonego stylu pisania.

Model przyjmuje dane wejściowe tekstowe i zwraca dane wyjściowe tekstowe, co umieszcza go w kategorii tekstowej na api14. Ma okno kontekstu wynoszące 32768 tokenów, więc prompty i historia rozmowy razem mogą osiągnąć tę długość. Maksymalne dane wyjściowe na żądanie to 4096 tokenów, a data odcięcia wiedzy to 30 czerwca 2024. Wszystko, co wydarzyło się po tej dacie, wykracza poza to, czego model nauczył się podczas treningu.

Możliwości kształtują przypadki użycia. Ponieważ model został dostrojony pod jakość prozy, a nie pod użycie narzędzi czy multimodalność, pasuje do pracy z dużą ilością pisania: tworzenia i przepisywania treści długoformatowych, dostosowywania tonu i rejestru, edycji pod konkretny głos, odgrywania ról i dialogów opartych na postaciach oraz streszczania długich dokumentów, które mieszczą się w oknie kontekstu. Kontekst 32768 tokenów pozwala przekazać obszerny materiał źródłowy, a limit danych wyjściowych 4096 tokenów odpowiada rozdziałom, artykułom i odpowiedziom wieloakapitowym, a nie bardzo długim pojedynczym generacjom.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu "anthracite-org/magnum-v4-72b". API obsługuje szeroki zestaw parametrów żądania: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs i top_p. Structured outputs i response_format są dostępne, gdy potrzebujesz, aby odpowiedź była zgodna ze schematem, a nie była wolną prozą, a seed pomaga, gdy chcesz uzyskać powtarzalny wynik. Kontrolki próbkowania pozwalają dostosować kreatywność i powtarzanie do zadania.

Pamiętaj o ograniczeniach przy wyborze. Okno kontekstu wynosi 32768 tokenów, więc bardzo duże bazy kodu, dane wejściowe o długości całej książki lub długie historie agentów nie zmieszczą się, a maksymalne dane wyjściowe 4096 tokenów wykluczają pojedyncze generacje przekraczające tę długość. Data odcięcia wiedzy 30 czerwca 2024 oznacza, że model nie zna ostatnich wydarzeń ani aktualnej dokumentacji. Jeśli potrzebujesz danych wejściowych obrazowych, audio lub znacznie większego kontekstu, lepiej pasowałby inny model na api14.