Microsoft AI: MAI-Voice-2.1-Flash

MAI-Voice-2.1-Flash to model zamiany tekstu na mowę od Microsoft AI, należący do rodziny MAI-Voice. Znajduje się w kategorii mowy i został stworzony do syntezy o niskich opóźnieniach, którą Microsoft opisuje jako zoptymalizowaną pod kątem responsywności w czasie rzeczywistym. Jeśli już pracujesz z modelami Microsoft AI, to jest to odpowiednik generowania mowy dla ich modeli tekstowych, udostępniany przez api14 wraz z resztą katalogu.

Model przyjmuje tekst jako jedyne wejście i zwraca mowę jako jedyne wyjście. Nie opublikowano dla niego wartości okna kontekstu, a podana maksymalna wartość wyjściowa wynosi zero, więc traktuj go jako punkt końcowy syntezy, a nie model konwersacyjny: wysyłasz tekst, otrzymujesz dźwięk. Dostawca opisuje wyjście jako naturalne i ekspresyjne, z ludzką intonacją, rytmem i niuansem emocjonalnym. Zasięg obejmuje 23 języki, a lista głosów jest miejscem, w którym ta szerokość staje się konkretna. Każdy głos jest nazwany z użyciem ustawień regionalnych, nazwy mówcy i sufiksu modelu, na przykład en-US-Harper, de-DE-Klaus, fr-FR-Soleil, pt-BR-Luana, hi-IN-Kavya, ko-KR-Junho, zh-CN-Mei i wiele innych. Niektóre ustawienia regionalne oferują kilku różnych mówców, inne dzielą mniejszy zestaw, a kilka nazw, takich jak Grant i Harper, powtarza się w wielu językach.

Praktyczne zastosowania wynikają bezpośrednio z tekstu na wejściu i mowy na wyjściu, przy niskich opóźnieniach. Zastosowania w czasie rzeczywistym pasują tu w oczywisty sposób: asystenci głosowi i interfejsy czatu, które muszą odpowiadać na głos bez niezręcznej pauzy, agenci interaktywni oraz każdy potok, w którym synteza odbywa się na krytycznej ścieżce interakcji z użytkownikiem. Ponieważ model obejmuje 23 języki z wieloma mówcami na ustawienie regionalne, nadaje się także do pracy lokalizacyjnej, generując narrację lub dźwięk interfejsu dla kilku rynków z jednej integracji, zamiast łączyć osobnych dostawców dla każdego języka. Produkcja treści to kolejny obszar: zamiana skryptów, artykułów lub dokumentacji na mowę oraz wybór głosu dla danego ustawienia regionalnego, aby wynik brzmiał rodzimie, a nie jak tłumaczenie. Twierdzenie o ekspresyjnej intonacji ma największe znaczenie w przypadku wszystkiego, co jest skierowane do użytkownika, gdzie płaska wymowa byłaby zauważalna.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu microsoft/mai-voice-2.1-flash. Ponieważ interfejs jest zgodny z kształtem OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy adres URL api14 i podmienić ciąg modelu, co ogranicza pracę migracyjną. Lista obsługiwanych parametrów dla tego modelu jest pusta, więc nie zakładaj, że zwykłe kontrolki próbkowania, takie jak temperature czy top_p, zostaną przyjęte; sprawdź aktualny schemat przed ich wysłaniem. Wybór głosu to parametr, który ma tu znaczenie, a prawidłowe wartości to pełne identyfikatory głosów z listy, na przykład en-US-Iris:MAI-Voice-2.1-Flash lub kody ustawień regionalnych w stylu ja, takie jak es-MX-Valeria:MAI-Voice-2.1-Flash. Przekaż tekst, który ma zostać wypowiedziany, jako dane wejściowe, ustaw głos i odczytaj dźwięk z odpowiedzi.

Nie opublikowano długości kontekstu, więc długie dokumenty należy podzielić na fragmenty przed syntezą, zamiast wysyłać je jako jedno żądanie. Jeśli twoim zadaniem jest transkrypcja lub rozumienie mowy, a nie generowanie, ten model jest niewłaściwym kierunkiem, ponieważ przyjmuje tylko tekst. A jeśli potrzebujesz ogólnego modelu czatu lub rozumowania, poszukaj gdzie indziej w katalogu; MAI-Voice-2.1-Flash wykonuje jedno zadanie: zamienia tekst na mowę w ramach obsługiwanych języków i głosów.