Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3 ist ein Text-to-Speech-Modell von Mistral. Es gehört zur Kategorie Speech und wird auf api14 als mistralai/voxtral-mini-tts-3-0 identifiziert. Es wird von Mistral produziert, demselben Anbieter hinter dem Rest der Voxtral-Familie, und seine Aufgabe ist eng und spezifisch: geschriebenen Text in gesprochenes Audio umzuwandeln, statt Text zu generieren oder zu bearbeiten.

Das Modell nimmt Text als einzige Eingabe und gibt Sprache als einzige Ausgabe zurück. Es hat ein Kontextfenster von 4096 Tokens, und die maximale Ausgabe beträgt 3276 Tokens, was begrenzt, wie viel Text Sie in einer einzelnen Anfrage senden können. Voxtral TTS 3 wird mit einer großen Bibliothek voreingestellter Stimmen geliefert. Dazu gehören benannte englische Stimmen wie en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry und en_paul_excited, britische Stimmen wie gb_oliver_neutral, gb_jane_sarcasm und gb_jane_confused, französische Stimmen wie fr_marie_neutral und fr_marie_angry, zusammen mit vielen nummerierten Stimmen wie voice_3150, voice_478 und voice_3132. Laut dem Anbieter unterstützt das Modell außerdem Zero-Shot-Voice-Cloning und akzeptiert Emotion- und Pace-Tags innerhalb des Textes, wodurch Sie die Vortragsweise steuern können, ohne das zugrunde liegende Skript zu ändern.

Die praktischen Anwendungen ergeben sich direkt aus diesen Eigenschaften. Mit Emotion- und Pace-Tags plus einem breiten Satz an Stimmen eignet sich das Modell für Narration für Videos und Kurse, bei denen der Vortrag zwischen ruhigen, begeisterten oder frustrierten Zeilen wechseln muss. Die britischen und französischen Stimmensets machen es für lokalisierten Content nutzbar, ohne ein separates Modell pro Locale. Zero-Shot-Voice-Cloning ist nützlich, wenn Sie eine konsistente Marken- oder Charakterstimme über viele Clips hinweg möchten, und die Preset-Bibliothek deckt Fälle ab, in denen Sie einfach schnell eine natürliche Stimme benötigen. Da die Ausgabe nur Audio ist, funktioniert es gut als letzte Stufe einer Pipeline: Generieren oder bearbeiten Sie Ihr Skript mit einem Textmodell, und übergeben Sie dann den finalen Text hier für die Sprachausgabe.

Der Aufruf über api14 funktioniert genauso wie bei jedem anderen Modell auf dem Gateway, da die API OpenAI-kompatibel ist. Sie senden eine Anfrage an den Speech-Endpoint mit der Modell-ID mistralai/voxtral-mini-tts-3-0, übergeben Ihren Text als Eingabe und wählen eine Stimme aus der obigen Liste. Beachten Sie, dass das Modell keine eigenen unterstützten Parameter meldet, sodass Sie nicht erwarten sollten, dass das Gateway beliebige Tuning-Optionen wie temperature oder top_p weiterleitet; die Stimmauswahl, der Text und alle Emotion- oder Pace-Tags, die Sie einbetten, sind die Art und Weise, wie Sie das Ergebnis steuern. Halten Sie Anfragen innerhalb des 4096-Token-Kontexts und der Obergrenze von 3276 Tokens für die Ausgabe.

Wenn Ihre Aufgabe darin besteht, Text zu generieren oder umzuschreiben, statt ihn zu sprechen, ist ein Textmodell die bessere Wahl, da Voxtral TTS 3 nur Text akzeptiert und nur Sprache zurückgibt. Es ist außerdem kein Transkriptionsmodell, sodass Audioeingabe außerhalb des Umfangs liegt. Für lange Dokumente müssen Sie das Skript in Chunks aufteilen, die das Kontextlimit respektieren, und das resultierende Audio anschließend zusammenfügen.