Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3 to model zamiany tekstu na mowę od Mistral. Należy do kategorii mowy i jest identyfikowany w api14 jako mistralai/voxtral-mini-tts-3-0. Jest tworzony przez Mistral, tego samego dostawcę stojącego za resztą rodziny Voxtral, a jego zadanie jest wąskie i konkretne: zamiana tekstu pisanego na mowę, a nie generowanie czy edycja tekstu.

Model przyjmuje tekst jako jedyne wejście i zwraca mowę jako jedyne wyjście. Ma okno kontekstu wynoszące 4096 tokenów, a maksymalne wyjście to 3276 tokenów, co ogranicza ilość tekstu, jaką można wysłać w jednym żądaniu. Voxtral TTS 3 jest dostarczany z dużą biblioteką gotowych głosów. Obejmują one nazwane głosy angielskie, takie jak en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry i en_paul_excited, głosy brytyjskie, takie jak gb_oliver_neutral, gb_jane_sarcasm i gb_jane_confused, głosy francuskie, takie jak fr_marie_neutral i fr_marie_angry, obok wielu numerowanych głosów, takich jak voice_3150, voice_478 i voice_3132. Według dostawcy model obsługuje również klonowanie głosu bez próbek oraz przyjmuje znaczniki emocji i tempa wewnątrz tekstu, co pozwala sterować sposobem wypowiedzi bez zmiany samego skryptu.

Praktyczne zastosowania wynikają bezpośrednio z tych cech. Dzięki znacznikom emocji i tempa oraz szerokiemu zestawowi głosów model nadaje się do narracji w filmach i kursach, gdzie sposób wypowiedzi musi zmieniać się między spokojnymi, podekscytowanymi czy sfrustrowanymi kwestiami. Zestawy głosów brytyjskich i francuskich czynią go użytecznym do treści zlokalizowanych bez osobnego modelu dla każdego języka. Klonowanie głosu bez próbek jest przydatne, gdy chcesz uzyskać spójny głos marki lub postaci w wielu klipach, a biblioteka gotowych głosów obejmuje przypadki, gdy potrzebujesz po prostu naturalnego głosu szybko. Ponieważ wyjściem jest wyłącznie dźwięk, dobrze sprawdza się jako ostatni etap potoku: wygeneruj lub edytuj skrypt za pomocą modelu tekstowego, a następnie przekaż końcowy tekst tutaj do zamiany na mowę.

Wywoływanie go przez api14 działa tak samo jak w przypadku każdego innego modelu w bramie, ponieważ API jest zgodne z OpenAI. Wysyłasz żądanie do punktu końcowego mowy z identyfikatorem modelu mistralai/voxtral-mini-tts-3-0, przekazujesz tekst jako wejście i wybierasz głos z powyższej listy. Należy zauważyć, że model nie zgłasza żadnych własnych obsługiwanych parametrów, więc nie należy oczekiwać, że brama przekieruje dowolne opcje dostrajania, takie jak temperature czy top_p; wybór głosu, tekst oraz wszelkie osadzone znaczniki emocji lub tempa to sposób, w jaki kontrolujesz wynik. Utrzymuj żądania w granicach kontekstu 4096 tokenów i pułapu wyjścia 3276 tokenów.

Jeśli twoim zadaniem jest generowanie lub przepisywanie tekstu, a nie jego wypowiadanie, lepszym wyborem będzie model tekstowy, ponieważ Voxtral TTS 3 przyjmuje wyłącznie tekst i zwraca wyłącznie mowę. Nie jest to również model transkrypcji, więc wejście audio jest poza zakresem. W przypadku długich dokumentów konieczne będzie podzielenie skryptu na fragmenty mieszczące się w limicie kontekstu i połączenie powstałego dźwięku w całość.