Fish Audio: S1

Fish Audio: S1 to wielojęzyczny model zamiany tekstu na mowę od Fish Audio. Fish Audio jest dostawcą stojącym za modelem, a S1 znajduje się w kategorii mowy na api14. Jest zaprojektowany dla aplikacji głosowych, które potrzebują szerokiej ekspresji emocjonalnej, i używa nawiasowych formantów sterujących do kierowania stylem wypowiedzi w obsługiwanych językach. Jeśli budujesz cokolwiek, gdzie sposób wypowiedzi ma znaczenie tak samo jak słowa, to właśnie ten rodzaj modelu opisuje ta strona.

Model przyjmuje tekst jako jedyne wejście i produkuje mowę jako jedyne wyjście. Nie ma podanej wartości okna kontekstu ani nie ma wymienionych obsługiwanych parametrów żądania. Blok szczegółów odnotowuje wartość maxOutput równą zero, co oznacza, że na tej stronie nie ma opublikowanego limitu tokenów wyjściowych, względem którego można planować. W praktyce należy traktować S1 jako dedykowany punkt końcowy syntezy, a nie ogólny model czatu: wysyłasz tekst, otrzymujesz audio, a zakres ekspresji wynika ze sposobu, w jaki napiszesz tekst wejściowy, a nie z dostrajania zestawu parametrów próbkowania.

Taki kształt modelu pasuje do dość konkretnego zestawu zadań. Narracja i voiceover do treści wideo lub audio to oczywisty przypadek, ponieważ można napisać scenariusz i oznaczyć sposób wypowiedzi nawiasowymi formantami zamiast nagrywać kolejne podejścia. Nadaje się również do agentów konwersacyjnych i systemów typu IVR, w których chcesz, aby agent brzmiał zaangażowanie, a nie płasko, oraz do zadań związanych z dostępnością, takich jak czytanie artykułów lub dokumentów na głos w więcej niż jednym języku. Każdy potok, który generuje mowę masowo z tekstu i chce spójnej barwy emocjonalnej, jest rozsądnym kandydatem.

Wywołujesz go przez kompatybilne z OpenAI API api14, używając identyfikatora modelu "fish-audio/s1". Ponieważ brama podąża za kształtem żądania OpenAI, kierujesz swojego istniejącego klienta na bazowy adres URL api14 i przekazujesz ten identyfikator w polu model. Zwróć uwagę, że dla tego modelu nie wymieniono żadnych obsługiwanych parametrów, więc nie zakładaj, że temperature, top_p, wybór głosu lub podobne pokrętła są akceptowane; wyślij tekst, który chcesz wypowiedzieć, i pozwól modelowi zająć się syntezą. Sprawdź aktualną stronę modelu, aby poznać bieżące szczegóły parametrów i punktów końcowych, zanim podłączysz go do produkcji.

Jeśli chodzi o limity, uczciwa odpowiedź na podstawie podanych faktów jest taka, że ta strona ich nie podaje. Nie ma długości kontekstu, nie ma wartości maxOutput większej od zera i nie ma listy parametrów, więc pojemność i zachowanie przy dostrajaniu po prostu nie są tu udokumentowane. Jeśli twoje obciążenie zależy od znanego rozmiaru wejścia lub od precyzyjnej kontroli długości wyjścia, zweryfikuj to najpierw w dokumentacji samego dostawcy. W przypadku zadań, które wcale nie są mową, lepiej pasować będzie model tekstowy lub multimodalny na api14, ponieważ S1 przyjmuje tylko tekst i zwraca tylko mowę.