Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3 è un modello text-to-speech di Mistral. Si colloca nella categoria speech ed è identificato su api14 come mistralai/voxtral-mini-tts-3-0. È prodotto da Mistral, lo stesso provider dietro al resto della famiglia Voxtral, e il suo compito è ristretto e specifico: trasformare testo scritto in audio parlato, non generare o modificare testo.

Il modello accetta testo come unico input e restituisce parlato come unico output. Ha una finestra di contesto di 4096 token, e l'output massimo è di 3276 token, il che limita quanto testo puoi inviare in una singola richiesta. Voxtral TTS 3 viene fornito con una vasta libreria di voci preimpostate. Queste includono voci inglesi con nome come en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry e en_paul_excited, voci britanniche come gb_oliver_neutral, gb_jane_sarcasm e gb_jane_confused, voci francesi come fr_marie_neutral e fr_marie_angry, insieme a molte voci numerate come voice_3150, voice_478 e voice_3132. Secondo il provider, il modello supporta anche il voice cloning zero-shot e accetta tag di emozione e ritmo all'interno del testo, il che ti permette di guidare l'esecuzione senza cambiare il copione di base.

Gli usi pratici derivano direttamente da queste caratteristiche. Con i tag di emozione e ritmo più un'ampia serie di voci, il modello si adatta alla narrazione per video e corsi in cui l'esecuzione deve passare tra battute calme, entusiaste o frustrate. I set di voci britanniche e francesi lo rendono utilizzabile per contenuti localizzati senza un modello separato per ogni locale. Il voice cloning zero-shot è utile quando vuoi una voce di brand o di personaggio coerente su molte clip, e la libreria di preimpostazioni copre i casi in cui ti serve semplicemente una voce naturale in fretta. Poiché l'output è solo audio, funziona bene come ultimo stadio di una pipeline: genera o modifica il tuo copione con un modello testuale, poi passa il testo finale qui per il parlato.

Chiamarlo tramite api14 funziona allo stesso modo di qualsiasi altro modello sul gateway, dato che l'API è compatibile con OpenAI. Invii una richiesta all'endpoint speech con l'id del modello mistralai/voxtral-mini-tts-3-0, passi il tuo testo come input e scegli una voce dalla lista sopra. Nota che il modello non dichiara parametri supportati propri, quindi non dovresti aspettarti che il gateway inoltri opzioni di tuning arbitrarie come temperature o top_p; la selezione della voce, il testo e qualsiasi tag di emozione o ritmo che incorpori sono il modo in cui controlli il risultato. Mantieni le richieste entro il contesto di 4096 token e il limite di output di 3276 token.

Se il tuo compito è generare o riscrivere testo invece di pronunciarlo, un modello testuale è più adatto, dato che Voxtral TTS 3 accetta solo testo e restituisce solo parlato. Non è nemmeno un modello di trascrizione, quindi l'input audio è fuori ambito. Per documenti lunghi dovrai dividere il copione in blocchi che rispettino il limite di contesto e unire insieme l'audio risultante.