Mistral: Mistral Small 3

Mistral Small 3 est un modèle de génération de texte de Mistral, publié par le fournisseur le 30 janvier 2025. C'est un modèle de langage de 24 milliards de paramètres optimisé pour une faible latence sur les tâches d'IA courantes, et il est publié sous licence Apache 2.0. Il existe des versions pré-entraînées et ajustées sur instructions, et c'est la variante ajustée sur instructions qui est servie ici sous l'identifiant de modèle mistralai/mistral-small-24b-instruct-2501.

Le modèle fonctionne avec une entrée texte et produit une sortie texte, ce qui le rend adapté aux charges de travail standard de type chat et complétion. Il dispose d'une fenêtre de contexte de 32768 tokens, qui couvre ensemble le prompt et la réponse générée, et il peut produire jusqu'à 16384 tokens en une seule sortie. Sa date limite de connaissances est le 31 octobre 2023, donc tout ce qui s'est produit après cette date est en dehors de ce que le modèle a appris pendant l'entraînement. La combinaison d'un nombre modéré de paramètres et d'un contexte de 32k en fait un modèle instruct généraliste plutôt qu'un spécialiste d'une seule tâche étroite.

Parce qu'il est ajusté sur instructions et optimisé pour une faible latence, le modèle convient aux tâches quotidiennes où la vitesse de réponse compte : assistants de chat, résumé, réécriture, classification, extraction et réponse à des questions sur du contenu qui tient dans la fenêtre de contexte. Le plafond de sortie de 16384 tokens permet des générations plus longues comme des brouillons de plusieurs paragraphes ou des documents structurés, tandis que le contexte de 32768 tokens prend en charge des prompts qui incluent une bonne quantité de texte de référence, par exemple quelques documents ou un long historique de conversation. Les développeurs qui ont besoin d'un modèle de texte fiable pour des points de terminaison à fort volume et sensibles à la latence sont le public visé.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle mistralai/mistral-small-24b-instruct-2501, ce qui signifie que les bibliothèques clientes OpenAI existantes et les formes de requêtes fonctionnent avec seulement le nom du modèle changé. Le modèle prend en charge frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k et top_p. Les sorties structurées et response_format sont disponibles pour les cas où vous avez besoin de la réponse dans une forme définie, et seed peut aider à rendre l'échantillonnage plus reproductible. Le comportement d'échantillonnage est contrôlé par temperature, top_p, top_k et min_p, tandis que repetition_penalty, frequency_penalty et presence_penalty façonnent le degré de répétition du modèle.

Deux contraintes pratiques méritent d'être notées avant de vous engager. La date limite de connaissances du 31 octobre 2023 signifie que le modèle n'a aucune conscience intégrée des événements postérieurs, donc les applications qui dépendent d'informations récentes doivent les fournir dans le prompt. L'entrée et la sortie sont uniquement du texte, donc si votre charge de travail implique des images ou de l'audio, ce modèle n'est pas adapté. Et avec une fenêtre de contexte de 32768 tokens, les entrées très volumineuses devront être découpées ou récupérées plutôt que transmises en entier.