Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 est un modèle de texte de Sao10K, un fournisseur connu pour ses fine-tunes destinés à l'écriture créative et au jeu de rôle. Il est construit sur Llama 3.1 70B et succède à Euryale L3 70B v2.1. Le fournisseur le décrit comme axé sur le jeu de rôle créatif, il se situe donc dans l'espace des modèles à poids ouverts ajustés pour la narration et la conversation centrée sur les personnages plutôt que pour le travail d'assistant généraliste.

Le modèle prend du texte en entrée et renvoie du texte en sortie. Il dispose d'une fenêtre de contexte de 131072 tokens, suffisamment grande pour contenir de longues conversations, des scènes étendues ou des documents volumineux en une seule requête. La sortie maximale est de 16384 tokens, une réponse unique peut donc être assez longue, bien qu'elle soit plus petite que la fenêtre d'entrée. Sa date limite de connaissances est le 2023-12-31, ce qui compte si votre tâche dépend d'événements postérieurs à cette date. Les paramètres de requête pris en charge incluent temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens et structured_outputs.

Les usages pratiques découlent de ce profil. Le jeu de rôle créatif et le chat de personnage sont l'usage le plus évident, puisque le modèle a été ajusté pour cela. La fiction longue, la continuation de scène et la narration interactive conviennent également à la grande fenêtre de contexte, car vous pouvez conserver beaucoup de récit antérieur dans le prompt sans le tronquer. Les paramètres d'échantillonnage vous donnent un contrôle précis sur le ton et la répétition, ce qui aide lorsque vous voulez une voix de personnage cohérente sur une longue session. Les structured_outputs peuvent être utiles lorsque vous voulez que le modèle renvoie quelque chose de plus prévisible que de la prose libre, par exemple un résumé de scène ou un ensemble de champs dans un pipeline de jeu de rôle.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "sao10k/l3.1-euryale-70b". Comme l'interface est compatible OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et passer cet identifiant dans le champ model. La requête prend en charge les paramètres listés ci-dessus, vous pouvez donc définir temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens et structured_outputs selon vos besoins. Un tableau des prix en direct sur la page couvre le coût.

Une limite à garder en tête est la date limite de connaissances du 2023-12-31, donc tout ce qui nécessite des informations plus récentes ne proviendra pas du modèle lui-même. Le plafond de sortie de 16384 tokens signifie aussi que les continuations très longues doivent être construites sur plusieurs appels. Si votre tâche est la réponse à des questions factuelles, la génération de code ou l'utilisation d'outils plutôt que l'écriture créative, un modèle généraliste peut mieux convenir.