Mistral: Voxtral Mini TTS

Mistral Voxtral Mini TTS to model zamiany tekstu na mowę od Mistral, wymieniony na api14 w kategorii speech. Przyjmuje tekst jako jedyne wejście i produkuje mowę jako jedyne wyjście, więc znajduje się w połowie syntezy potoku mowy, a nie w połowie rozpoznawania. Jeśli już kierujesz inne modele Mistral przez api14, ten pochodzi od tego samego dostawcy i działa według tego samego wzorca dostępu.

Model przyjmuje tekst i zwraca naturalnie brzmiące audio. Obsługuje wielojęzyczne wyjście, a dostępne głosy obejmują angielski, brytyjski angielski i francuski. Głosy angielskie są zgrupowane pod en_paul, z wariantami dla sad, neutral, happy, frustrated, excited, confident, cheerful i angry. Brytyjski angielski oferuje gb_oliver i gb_jane, każdy z własnym zestawem wariantów emocjonalnych, takich jak curious, confident, cheerful, angry, sarcasm, confusion, shame, jealousy i frustration. Francuski jest obsługiwany przez fr_marie, z wariantami sad, neutral, happy, excited, curious i angry. Okno kontekstu wynosi 4096 tokenów, a maksymalne wyjście to 3276, co stanowi budżet dzielony przez tekst wejściowy i wygenerowaną mowę, więc utrzymuj tekst źródłowy rozsądnie krótki na jedno żądanie.

Te możliwości wskazują na kilka praktycznych zastosowań. Możesz narrować artykuły, dokumentację lub teksty produktowe i wybrać głos, którego ton emocjonalny pasuje do materiału, na przykład cheerful dla treści wdrażających lub neutral dla czytania technicznego. Ponieważ głosy istnieją w trzech wariantach językowych, możesz tworzyć zlokalizowane audio dla odbiorców angielskich, brytyjskich angielskich i francuskich z tego samego tekstu źródłowego. Zakres emocjonalny czyni model użytecznym do dialogów w grach lub e learningu, gdzie pojedyncza kwestia może wymagać odczytania jako excited, frustrated lub sad. Zero shot voice cloning, zgodnie z opisem dostawcy, ma znaczenie, jeśli potrzebujesz spójnego niestandardowego głosu w serii klipów.

Wywoływanie go przez api14 działa jak w przypadku każdego innego modelu zgodnego z OpenAI. Wyślij żądanie do punktu końcowego chat completions z identyfikatorem modelu "mistralai/voxtral-mini-tts-2603" i swoim tekstem jako wejściem, a odpowiedź zawiera wygenerowaną mowę. Model nie wymienia żadnych obsługiwanych parametrów, więc nie ma pokręteł próbkowania ani generowania do dostrojenia w żądaniu; wybór głosu jest główną kontrolą, jaką masz, i wybierasz go z powyższej listy głosów. Planuj integrację wokół stałego kontekstu 4096 tokenów i limitu wyjścia 3276 tokenów, a nie wokół regulowanych ustawień.

Ponieważ lista parametrów jest pusta, ten model nadaje się do prostych zadań syntezy, w których podajesz tekst i głos oraz akceptujesz domyślne zachowanie. Jeśli potrzebujesz precyzyjnej kontroli nad ustawieniami generowania albo jeśli tekst wejściowy regularnie przekracza okno kontekstu, możesz chcieć innego modelu lub kroku dzielenia na fragmenty przed tym modelem. Dla zwykłej zamiany tekstu na mowę w obsługiwanych językach i głosach bezpośrednio realizuje to zadanie.