Fish Audio: S2.1 Pro

Fish Audio: S2.1 Pro to model zamiany tekstu na mowę od Fish Audio, wymieniony na api14 w kategorii speech. Jego dostawca opisuje go jako zorientowany na produkcję, co umieszcza go w tej części oferty Fish Audio, która jest skierowana do wdrożonych aplikacji głosowych, a nie do eksperymentów. Jeśli już kierujesz inne modele przez api14, ten znajduje się obok nich jako opcja generowania mowy od tego samego dostawcy.

Model przyjmuje tekst jako jedyne wejście i zwraca mowę jako jedyne wyjście. Jest zbudowany dla wielojęzycznych aplikacji głosowych, ekspresyjnej narracji i syntezy dialogu, a także udostępnia otwarte kontrolki w języku naturalnym dla stylu mówienia. Oznacza to, że możesz opisać żądaną realizację zwykłym językiem, zamiast wybierać ze stałego zestawu ustawień wstępnych. Dla tego modelu nie opublikowano wartości okna kontekstu, a maksymalne wyjście jest podane jako zero w metadanych modelu, więc praktyczną długość pojedynczego generowania należy potwierdzić w działającym API, a nie zakładać na podstawie wpisu.

Przypadki użycia wynikają bezpośrednio z tych cech. Wielojęzyczne aplikacje głosowe pasują najbardziej, ponieważ model jest przeznaczony dla więcej niż jednego języka. Ekspresyjna narracja odpowiada audiobookom, filmom objaśniającym i wszelkim treściom, w których płaskie czytanie brzmiałoby źle. Synteza dialogu obejmuje skrypty z wieloma mówcami, agentów konwersacyjnych i interaktywne postacie. Kontrolki stylu w języku naturalnym są przydatne, gdy chcesz kierować tonem lub realizacją dla każdego żądania bez utrzymywania biblioteki ustawionych wcześniej głosów.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu "fish-audio/s2.1-pro". Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące klienty i zestawy SDK zasadniczo działają po zmianie bazowego adresu URL i identyfikatora modelu. Metadane modelu nie wymieniają żadnych obsługiwanych parametrów, więc nie zakładaj, że kontrolki próbkowania, takie jak temperature lub top_p, będą akceptowane; sprawdź działający punkt końcowy, zanim zaczniesz na nich polegać. Wyjściem jest dźwięk, więc twój klient musi obsługiwać odpowiedź mowy, a nie tekstu.

Nie ma opublikowanej długości kontekstu, a maksymalne wyjście jest zapisane jako zero, więc bardzo długie skrypty mogą wymagać podziału na mniejsze żądania. Jeśli twoim zadaniem jest generowanie tekstu, a nie mowy, lepiej pasować będzie model tekstowy. Jeśli potrzebujesz modelu mowy z udokumentowanymi kontrolkami parametrów, porównaj go z innymi modelami mowy na api14 przed podjęciem decyzji.