Mistral Large

Mistral Large est un modèle de génération de texte de Mistral, positionné par le fournisseur comme son modèle phare. La version servie ici est Mistral Large 2 (mistral-large-2407), un modèle à poids propriétaires mais disponibles que Mistral décrit comme performant en raisonnement, en code, en JSON et en chat. Il a été publié par le fournisseur le 26 février 2024, et sa date limite de connaissances est le 30 novembre 2024, donc tout ce qui s'est produit après cette date sort du cadre de ce que le modèle a appris pendant l'entraînement.

Le modèle accepte des entrées de texte et de fichiers et renvoie du texte. Il dispose d'une fenêtre de contexte de 128 000 tokens, ce qui suffit pour contenir de longs documents, de gros fichiers de code ou des conversations étendues dans une seule requête, et il peut produire jusqu'à 102 400 tokens en une seule réponse. Comme les fichiers constituent une modalité d'entrée acceptée, vous pouvez transmettre le contenu d'un document en même temps que vos instructions plutôt que de tout coller vous-même dans le prompt. La sortie est uniquement textuelle, donc si vous avez besoin d'images ou d'audio, vous devrez utiliser un autre modèle.

Ces capacités ouvrent sur un ensemble assez large d'usages pratiques. Le long contexte et la force de raisonnement conviennent à l'analyse de documents, au résumé et aux questions-réponses sur des sources longues, y compris des contrats, des rapports et des articles de recherche fournis sous forme de fichiers. Le fournisseur met en avant le code et le JSON, donc l'explication, la génération et la refactorisation de code sont des cas d'usage raisonnables, tout comme la production de charges utiles JSON structurées pour des systèmes en aval. Les applications de chat et de type assistant fonctionnent également bien, en particulier lorsque la conversation doit conserver beaucoup de contexte antérieur sans troncature.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "mistralai/mistral-large". Comme le point de terminaison suit le schéma OpenAI, les bibliothèques clientes OpenAI existantes et les formes de requête fonctionnent en changeant uniquement l'URL de base et l'identifiant de modèle. Les paramètres de requête pris en charge sont frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools et top_p. L'appel d'outils est disponible via tools et tool_choice, et structured_outputs ainsi que response_format vous permettent de contraindre la forme du texte renvoyé lorsque vous avez besoin d'un JSON fiable. Le paramètre seed est utile lorsque vous voulez un échantillonnage reproductible, et stop, temperature et top_p vous donnent le contrôle sur l'endroit et la manière dont le modèle génère.

Gardez à l'esprit la date limite de connaissances : pour les questions portant sur des événements postérieurs au 30 novembre 2024, le modèle n'a aucune connaissance intégrée et ces informations devront lui être fournies dans le prompt ou via des outils. Le contexte de 128 000 tokens et le plafond de sortie de 102 400 tokens sont généreux mais finis, donc de très grands corpus nécessitent encore un découpage ou de la récupération. Si votre tâche n'est pas basée sur du texte, ou si vous avez spécifiquement besoin d'un modèle avec une date limite plus récente, un autre modèle sur api14 pourrait être un meilleur choix.