Mistral: Voxtral Mini TTS

Mistral Voxtral Mini TTS est un modèle de synthèse vocale de Mistral, répertorié sur api14 dans la catégorie speech. Il prend le texte comme seule entrée et produit de la parole comme seule sortie, il se situe donc dans la moitié synthèse d'un pipeline vocal plutôt que dans la moitié reconnaissance. Si vous acheminez déjà d'autres modèles Mistral via api14, celui-ci provient du même fournisseur et suit le même schéma d'accès.

Le modèle accepte du texte et renvoie un audio à sonorité naturelle. Il prend en charge une sortie multilingue, et les voix disponibles couvrent l'anglais, l'anglais britannique et le français. Les voix anglaises sont regroupées sous en_paul, avec des variantes pour sad, neutral, happy, frustrated, excited, confident, cheerful et angry. L'anglais britannique propose gb_oliver et gb_jane, chacune avec son propre ensemble de variantes émotionnelles telles que curious, confident, cheerful, angry, sarcasm, confusion, shame, jealousy et frustration. Le français est servi par fr_marie, avec les variantes sad, neutral, happy, excited, curious et angry. La fenêtre de contexte est de 4096 tokens, et la sortie maximale est de 3276, ce qui constitue le budget partagé entre votre texte d'entrée et la parole générée, donc gardez un texte source raisonnablement court par requête.

Ces capacités indiquent quelques usages pratiques. Vous pouvez narrer des articles, de la documentation ou des textes produits et choisir une voix dont le ton émotionnel correspond au contenu, par exemple une voix cheerful pour du contenu d'onboarding ou une voix neutral pour une lecture technique. Comme les voix existent en trois variantes linguistiques, vous pouvez produire de l'audio localisé pour des publics anglais, anglais britannique et français à partir du même texte source. L'étendue émotionnelle rend le modèle utilisable pour des dialogues dans des jeux ou de l'e learning, où une seule ligne peut devoir être lue comme excited, frustrated ou sad. Le clonage vocal zero shot, tel que décrit par le fournisseur, est pertinent si vous avez besoin d'une voix personnalisée cohérente sur une série de clips.

L'appeler via api14 fonctionne comme n'importe quel autre modèle compatible OpenAI. Envoyez une requête au point de terminaison chat completions avec l'id de modèle "mistralai/voxtral-mini-tts-2603" et votre texte en entrée, et la réponse contient la parole générée. Le modèle ne liste aucun paramètre pris en charge, il n'y a donc aucun réglage d'échantillonnage ou de génération à ajuster dans la requête ; la sélection de la voix est le principal contrôle dont vous disposez, et vous la choisissez dans la liste de voix ci-dessus. Planifiez votre intégration autour du contexte fixe de 4096 tokens et du plafond de sortie de 3276 tokens plutôt qu'autour de réglages ajustables.

Comme la liste de paramètres est vide, ce modèle convient aux tâches de synthèse simples où vous fournissez un texte et une voix et acceptez le comportement par défaut. Si vous avez besoin d'un contrôle fin des réglages de génération, ou si votre texte d'entrée dépasse régulièrement la fenêtre de contexte, vous voudrez peut-être un autre modèle ou une étape de découpage en amont de celui-ci. Pour de la synthèse vocale simple dans les langues et voix prises en charge, il couvre directement la tâche.