Mistral Large 2407

Mistral Large 2407 est un modèle de génération de texte de Mistral, identifié sur api14 comme mistralai/mistral-large-2407. C'est le modèle phare de Mistral, Mistral Large 2, dans sa version 2407, et Mistral le décrit comme un modèle à poids propriétaires disponibles. Il a été publié par le fournisseur le 2024-11-19 et a une date de coupure des connaissances au 2024-03-31.

Le modèle accepte des entrées de texte et de fichiers et renvoie du texte. Il dispose d'une fenêtre de contexte de 131072 tokens et d'une sortie maximale de 104857 tokens, ce qui permet à la fois de longues entrées et de longues générations dans la même requête. Mistral le positionne comme performant en raisonnement, en code, en JSON et en chat. Les paramètres de requête pris en charge incluent temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools et tool_choice.

Parce qu'il gère bien le raisonnement, le code et le JSON, il convient à des tâches telles que l'analyse en plusieurs étapes, la génération et la revue de code, et les assistants de chat qui doivent tenir une longue conversation ou un grand document en contexte. La modalité d'entrée de fichier le rend utilisable pour les flux de travail où un document est fourni avec une question, et les paramètres de sortie structurée et d'appel d'outils en font un choix raisonnable pour les pipelines qui ont besoin de réponses lisibles par machine ou qui connectent le modèle à des fonctions externes. Le plafond de sortie élevé aide lorsque la réponse elle-même est longue, par exemple un fichier complet, un rapport détaillé ou une explication étendue.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "mistralai/mistral-large-2407". Les requêtes suivent la forme des complétions de chat OpenAI, donc vous envoyez des messages et définissez les paramètres dans les champs habituels. Le modèle prend en charge frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools et top_p. Utilisez response_format ou structured_outputs lorsque vous avez besoin de JSON, et tools avec tool_choice lorsque vous voulez que le modèle appelle des fonctions que vous définissez. Le paramètre seed vous permet de rendre l'échantillonnage plus reproductible, et stop vous permet d'interrompre la génération à une séquence choisie.

Gardez à l'esprit la date de coupure des connaissances du 2024-03-31 : le modèle ne connaîtra pas les événements ou les changements de bibliothèques après cette date, donc pour des informations récentes, vous devez les fournir dans le prompt ou via un fichier. Si votre tâche n'est pas basée sur du texte, ce modèle ne conviendra pas, car il ne prend que des entrées de texte et de fichiers et ne produit que du texte. Dans ces limites, c'est un choix général pour le raisonnement, le code et le travail JSON, et la liste de paramètres vous donne suffisamment de contrôle sur l'échantillonnage, la forme de sortie et l'utilisation d'outils pour l'intégrer dans du code compatible OpenAI existant avec peu de changements.