Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 ist ein Textmodell von Sao10K, einem Anbieter, der für Fine-Tunes mit Fokus auf kreatives Schreiben und Rollenspiel bekannt ist. Es basiert auf Llama 3.1 70B und ist der Nachfolger von Euryale L3 70B v2.1. Der Anbieter beschreibt es als auf kreatives Rollenspiel ausgerichtet, wodurch es im Bereich der Open-Weight-Stilmodelle angesiedelt ist, die für narrative und charaktergetriebene Konversation optimiert sind statt für allgemeine Assistentenarbeit.

Das Modell nimmt Text entgegen und gibt Text zurück. Es hat ein Kontextfenster von 131072 Tokens, was groß genug ist, um lange Gespräche, ausgedehnte Szenen oder umfangreiche Dokumente in einer einzigen Anfrage zu erfassen. Die maximale Ausgabe beträgt 16384 Tokens, eine einzelne Antwort kann also recht lang sein, auch wenn sie kleiner ist als das Eingabefenster. Der Wissensstand endet am 2023-12-31, was wichtig ist, wenn Ihre Aufgabe von Ereignissen nach diesem Datum abhängt. Zu den unterstützten Anfrageparametern gehören temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens und structured_outputs.

Die praktischen Einsatzmöglichkeiten ergeben sich aus diesem Profil. Kreatives Rollenspiel und Charakter-Chat passen am offensichtlichsten, da das Modell dafür optimiert wurde. Langform-Fiktion, Szenenfortsetzung und interaktives Storytelling profitieren ebenfalls vom großen Kontextfenster, da Sie viel vorherige Erzählung im Prompt behalten können, ohne sie abzuschneiden. Die Sampling-Parameter geben Ihnen feine Kontrolle über Ton und Wiederholung, was hilft, wenn Sie eine konsistente Charakterstimme über eine lange Sitzung hinweg wünschen. Strukturierte Ausgaben können nützlich sein, wenn das Modell etwas Vorhersehbareres als freie Prosa zurückgeben soll, zum Beispiel eine Szenenzusammenfassung oder eine Reihe von Feldern innerhalb einer Rollenspiel-Pipeline.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "sao10k/l3.1-euryale-70b" auf. Da die Schnittstelle OpenAI-kompatibel ist, können Sie einen vorhandenen OpenAI-Client auf die Basis-URL von api14 richten und diese ID im Feld model übergeben. Die Anfrage unterstützt die oben aufgeführten Parameter, Sie können also temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens und structured_outputs nach Bedarf setzen. Eine live aktualisierte Preistabelle auf der Seite deckt die Kosten ab.

Eine Einschränkung sollten Sie beachten: der Wissensstand vom 2023-12-31, alles, was neuere Informationen erfordert, wird also nicht vom Modell selbst kommen. Die Ausgabegrenze von 16384 Tokens bedeutet außerdem, dass sehr lange Fortsetzungen über mehrere Aufrufe hinweg aufgebaut werden müssen. Wenn Ihre Aufgabe faktische Fragebeantwortung, Codegenerierung oder Tool-Nutzung statt kreativem Schreiben ist, könnte ein Allzweckmodell besser passen.