MythoMax 13B

MythoMax 13B ist ein Textmodell von Gryphe, auf api14 identifiziert als gryphe/mythomax-l2-13b. Es ist ein Fine-Tune von Llama 2 13B, entstanden durch Merging statt durch einen einzelnen Trainingslauf, und Gryphe beschreibt es als einen der leistungsstärksten und beliebtesten Fine-Tunes dieses Basismodells. Es gehört zur Textkategorie, ist also für Spracharbeit gebaut und nicht für Bilder, Audio oder andere Modalitäten.

Das Modell nimmt Text als Eingabe und gibt Text als Ausgabe zurück. Es hat ein Kontextfenster von 8192 Tokens, was einen ziemlich langen Prompt plus die generierte Antwort abdeckt, und seine maximale Ausgabe beträgt 3686 Tokens. Sein Wissensstand endet am 30. Juni 2023, alles nach diesem Datum liegt außerhalb dessen, was es während des Trainings gelernt hat. Gryphe hebt reichhaltige Beschreibungen und Rollenspiel als besondere Stärken dieses Fine-Tunes hervor, was ein nützliches Signal dafür ist, welche Art von Prosa es tendenziell erzeugt.

Diese Eigenschaften deuten auf eine ziemlich spezifische Gruppe von Anwendungen hin. Die Stärken bei Rollenspiel und reichhaltiger Beschreibung machen es zu einer natürlichen Wahl für interaktive Fiktion, charaktergetriebenen Chat sowie narrative oder dialogbasierte Generierung, bei der Ton und Detail wichtig sind. Der Kontext von 8192 Tokens erlaubt es, eine lang laufende Unterhaltung oder eine umfangreiche Szene im Blick zu behalten, ohne ständig kürzen zu müssen, und die Obergrenze von 3686 Tokens für die Ausgabe unterstützt Antworten, die mehrere Absätze umfassen. Über kreatives Schreiben hinaus eignet es sich für allgemeine Textgenerierung und chatartige Assistenten, wobei der Wissensstand bedeutet, dass man sich bei Fragen zu Ereignissen nach Juni 2023 nicht darauf verlassen sollte.

Man ruft es über die OpenAI-kompatible API von api14 mit der Modell-ID gryphe/mythomax-l2-13b auf, sodass bestehende OpenAI-Client-Bibliotheken und Request-Formate funktionieren, wenn nur der Modellname geändert wird. Die unterstützten Request-Parameter sind frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs und top_p. Das ist eine breite Sampling- und Steuerungsfläche: die üblichen Einstellungen für temperature, top_p, top_k und Penalties, plus min_p, top_a und repetition_penalty, die in Community-Fine-Tune-Workflows verbreitet sind. Seed liefert reproduzierbares Sampling, Stop-Sequenzen lassen die Generierung an einer gewählten Zeichenkette abbrechen, und logprobs mit top_logprobs legen Wahrscheinlichkeiten auf Token-Ebene offen. response_format und structured_outputs sind verfügbar, wenn die Ausgabe in einer bestimmten Form vorliegen soll.

Die wichtigsten Grenzen, die man im Auge behalten sollte, sind der Kontext von 8192 Tokens und die Ausgabegrenze von 3686 Tokens, zusammen mit dem Wissensstand von Juni 2023. Wenn die Aufgabe einen deutlich größeren Kontext, aktuelleres Wissen oder nicht-textuelle Eingaben erfordert, passt ein anderes Modell auf api14 besser. Für kreatives Schreiben, Charakter-Chat und allgemeine Textgenerierung innerhalb dieser Grenzen ist dieses Modell eine vernünftige Wahl.