Mistral: Mixtral 8x22B Instruct

Mistral : Mixtral 8x22B Instruct est un modèle de texte de Mistral, publié par le fournisseur le 17 avril 2024. C'est la version officielle instruct affinée de Mixtral 8x22B, une conception creuse de mélange d'experts qui utilise 39B de paramètres actifs sur 141B. L'ajustement instruct adapte le modèle de base pour suivre les instructions et répondre directement aux requêtes, ce que la plupart des développeurs d'applications recherchent lorsqu'ils appellent un modèle via une API.

Le modèle prend en entrée du texte et des fichiers et renvoie du texte. Sa fenêtre de contexte est de 65 536 tokens, et la sortie maximale est de 52 428 tokens, donc les entrées longues et les générations longues sont toutes deux possibles dans la même requête. La date limite de connaissance est le 31 janvier 2024, ce qui signifie que tout ce qui suit cette date dépasse ce sur quoi le modèle a été entraîné. Mistral met en avant de solides capacités en mathématiques et en codage comme forces particulières de ce modèle, ainsi qu'une efficacité de coût pour sa taille.

Ces capacités indiquent un ensemble assez large d'usages pratiques. Le contexte long convient au travail sur de grands documents, que cela signifie résumer un long rapport, extraire des détails structurés d'un fichier, ou répondre à des questions sur un ensemble de texte fourni dans le prompt. Les forces en mathématiques et en codage en font un choix raisonnable pour l'assistance au code, comme expliquer ou générer du code, et pour les tâches quantitatives qui nécessitent un raisonnement étape par étape. Comme il accepte des fichiers en entrée, il peut être utilisé dans des pipelines où les documents sont transmis directement plutôt que collés en texte brut. L'appel d'outils et les sorties structurées le rendent également adapté aux workflows de type agent et à la production de réponses que le code en aval peut analyser.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "mistralai/mixtral-8x22b-instruct". Les paramètres de requête pris en charge sont frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools et top_p. En pratique, cela couvre les contrôles d'échantillonnage habituels (temperature, top_p, pénalités, seed, stop), la longueur de sortie via max_tokens, le façonnage de la réponse via response_format et structured_outputs, et l'appel de fonctions via tools et tool_choice. Si vous avez déjà du code écrit selon la structure des complétions de chat OpenAI, passer à ce modèle consiste principalement à changer l'identifiant de modèle.

Une chose à garder à l'esprit est la date limite de connaissance du 31 janvier 2024, donc les questions sur des événements ultérieurs ne recevront pas de réponse issue des données d'entraînement et pourront nécessiter une récupération ou un contexte fourni dans le prompt. Le modèle est uniquement textuel du côté de la sortie, donc les tâches qui nécessitent de générer des images ou de l'audio sont hors de portée. Si votre charge de travail dépend d'informations très récentes ou de modalités au-delà de l'entrée texte et fichier, un autre modèle pourrait mieux convenir.