Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3 is een tekst-naar-spraakmodel van Mistral. Het valt in de categorie spraak en wordt op api14 geïdentificeerd als mistralai/voxtral-mini-tts-3-0. Het wordt geproduceerd door Mistral, dezelfde provider achter de rest van de Voxtral-familie, en zijn taak is nauw en specifiek: geschreven tekst omzetten in gesproken audio in plaats van tekst te genereren of te bewerken.

Het model neemt tekst als enige invoer en retourneert spraak als enige uitvoer. Het heeft een contextvenster van 4096 tokens, en de maximale uitvoer is 3276 tokens, wat bepaalt hoeveel tekst u in één verzoek kunt verzenden. Voxtral TTS 3 wordt geleverd met een grote bibliotheek met vooraf ingestelde stemmen. Deze omvatten benoemde Engelse stemmen zoals en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry en en_paul_excited, Britse stemmen zoals gb_oliver_neutral, gb_jane_sarcasm en gb_jane_confused, Franse stemmen zoals fr_marie_neutral en fr_marie_angry, naast vele genummerde stemmen zoals voice_3150, voice_478 en voice_3132. Volgens de provider ondersteunt het model ook zero-shot spraakkloon en accepteert het emotie- en tempotags binnen de tekst, waarmee u de voordracht kunt sturen zonder het onderliggende script te wijzigen.

De praktische toepassingen volgen rechtstreeks uit die eigenschappen. Met emotie- en tempotags plus een brede set stemmen past het model bij voice-over voor video's en cursussen waar de voordracht moet wisselen tussen kalme, opgewonden of gefrustreerde regels. De Britse en Franse stemsets maken het bruikbaar voor gelokaliseerde content zonder een apart model per taal. Zero-shot spraakkloon is nuttig wanneer u een consistente merk- of personagestem wilt across veel clips, en de vooraf ingestelde bibliotheek dekt gevallen waarin u gewoon snel een natuurlijke stem nodig hebt. Omdat de uitvoer alleen audio is, werkt het goed als de laatste fase van een pijplijn: genereer of bewerk uw script met een tekstmodel en geef de definitieve tekst hier door voor spraak.

Het aanroepen via api14 werkt hetzelfde als bij elk ander model op de gateway, aangezien de API OpenAI-compatibel is. U stuurt een verzoek naar het spraakeindpunt met het model-id mistralai/voxtral-mini-tts-3-0, geeft uw tekst door als de input en kiest een stem uit de bovenstaande lijst. Let op dat het model geen eigen ondersteunde parameters rapporteert, dus u moet niet verwachten dat de gateway willekeurige afstemmingsopties zoals temperature of top_p doorstuurt; de stemkeuze, de tekst en eventuele emotie- of tempotags die u insluit, zijn hoe u het resultaat beheert. Houd verzoeken binnen de context van 4096 tokens en het uitvoerplafond van 3276 tokens.

Als uw taak het genereren of herschrijven van tekst is in plaats van het uitspreken ervan, is een tekstmodel beter geschikt, aangezien Voxtral TTS 3 alleen tekst accepteert en alleen spraak retourneert. Het is ook geen transcriptiemodel, dus audio-invoer valt buiten het bereik. Voor lange documenten moet u het script opsplitsen in stukken die de contextlimiet respecteren en de resulterende audio aan elkaar plakken.