Magnum v4 72B

Magnum v4 72B ist ein Textgenerierungsmodell von Anthracite Org, veröffentlicht am 22. Oktober 2024. Es ist Teil einer Reihe, die entwickelt wurde, um die Prosaqualität der Claude 3 Modelle nachzubilden, insbesondere von Sonnet und Opus. Das Modell ist auf Qwen2.5 72B feinabgestimmt, einer Basis mit 72 Milliarden Parametern, sodass es dieses Fundament erbt und gleichzeitig auf einen bestimmten Schreibstil abgestimmt ist.

Das Modell akzeptiert Texteingaben und gibt Textausgaben zurück, was es auf api14 in die Textkategorie einordnet. Es hat ein Kontextfenster von 32768 Tokens, sodass Prompts und Gesprächsverlauf zusammen diese Länge erreichen können. Die maximale Ausgabe pro Anfrage beträgt 4096 Tokens, und der Wissensstand reicht bis zum 30. Juni 2024. Alles, was nach diesem Datum geschah, liegt außerhalb dessen, was das Modell während des Trainings gelernt hat.

Die Fähigkeiten bestimmen die Anwendungsfälle. Da das Modell auf Prosaqualität und nicht auf Tool-Nutzung oder Multimodalität abgestimmt wurde, eignet es sich für schreibintensive Arbeit: das Verfassen und Überarbeiten von Langtexten, das Anpassen von Ton und Register, das Redigieren für eine bestimmte Stimme, Rollenspiel und charaktergetriebenen Dialog sowie die Zusammenfassung langer Dokumente, die in das Kontextfenster passen. Der Kontext von 32768 Tokens unterstützt die Übergabe umfangreichen Quellmaterials, und die Obergrenze von 4096 Tokens für die Ausgabe eignet sich für Kapitel, Artikel und mehrteilige Antworten statt für sehr lange einzelne Generierungen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "anthracite-org/magnum-v4-72b" auf. Die API unterstützt eine breite Palette von Anfrageparametern: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs und top_p. Strukturierte Ausgaben und response_format sind verfügbar, wenn die Antwort einem Schema statt freier Prosa folgen soll, und seed hilft, wenn Sie ein reproduzierbares Ergebnis wünschen. Die Sampling-Steuerungen ermöglichen es Ihnen, Kreativität und Wiederholung an die Aufgabe anzupassen.

Beachten Sie die Grenzen bei der Auswahl. Das Kontextfenster umfasst 32768 Tokens, sodass sehr große Codebasen, Eingaben in Buchlänge oder lange Agentenverläufe nicht hineinpassen, und die maximale Ausgabe von 4096 Tokens schließt einzelne Generierungen über diese Länge hinaus aus. Der Wissensstand vom 30. Juni 2024 bedeutet, dass aktuelle Ereignisse oder aktuelle Dokumentation dem Modell nicht bekannt sind. Wenn Sie Bildeingaben, Audio oder einen deutlich größeren Kontext benötigen, wäre ein anderes Modell auf api14 besser geeignet.