MythoMax 13B

MythoMax 13B est un modèle de texte de Gryphe, identifié sur api14 comme gryphe/mythomax-l2-13b. C'est un fine-tune de Llama 2 13B, produit par fusion plutôt que par une seule session d'entraînement, et Gryphe le décrit comme l'un des fine-tunes les plus performants et les plus populaires de ce modèle de base. Il appartient à la catégorie texte, il est donc conçu pour le travail linguistique plutôt que pour les images, l'audio ou d'autres modalités.

Le modèle prend du texte en entrée et renvoie du texte en sortie. Il dispose d'une fenêtre de contexte de 8192 tokens, ce qui couvre un prompt raisonnablement long plus la réponse générée, et sa sortie maximale est de 3686 tokens. Sa date de coupure des connaissances est le 30 juin 2023, donc tout ce qui suit cette date est en dehors de ce qu'il a appris pendant l'entraînement. Gryphe met en avant les descriptions riches et le roleplay comme des forces particulières de ce fine-tune, ce qui est un signal utile sur le type de prose qu'il tend à produire.

Ces caractéristiques indiquent un ensemble d'usages assez spécifique. Les forces en roleplay et en description riche en font un choix naturel pour la fiction interactive, le chat axé sur les personnages, et la génération narrative ou de dialogue où le ton et le détail comptent. Le contexte de 8192 tokens vous permet de garder une longue conversation en cours ou une scène substantielle à l'écran sans devoir constamment tronquer, et le plafond de sortie de 3686 tokens prend en charge des réponses de plusieurs paragraphes. Au delà de l'écriture créative, il fonctionne pour la génération de texte générale et les assistants de type chat, bien que la coupure des connaissances signifie que vous ne devez pas compter sur lui pour des questions sur des événements postérieurs à juin 2023.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle gryphe/mythomax-l2-13b, donc les bibliothèques clientes OpenAI existantes et les formes de requête fonctionnent avec seulement le nom du modèle changé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs et top_p. C'est une large surface d'échantillonnage et de contrôle : les réglages habituels de temperature, top_p, top_k et de pénalité, plus min_p, top_a et repetition_penalty, qui sont courants dans les workflows de fine-tune communautaires. Seed vous donne un échantillonnage reproductible, les séquences stop vous permettent de couper la génération à une chaîne choisie, et logprobs avec top_logprobs exposent les probabilités au niveau des tokens. response_format et structured_outputs sont disponibles si vous avez besoin que la sortie soit mise en forme d'une manière particulière.

Les principales limites à garder en tête sont le contexte de 8192 tokens et le plafond de sortie de 3686 tokens, ainsi que la coupure des connaissances de juin 2023. Si votre tâche nécessite un contexte beaucoup plus grand, des connaissances plus récentes, ou une entrée non textuelle, un autre modèle sur api14 conviendra mieux. Pour l'écriture créative, le chat de personnages et la génération de texte générale dans ces limites, ce modèle est un choix raisonnable.