Fish Audio: Transcribe 1

Fish Audio: Transcribe 1 to model zamiany mowy na tekst od Fish Audio, wymieniony na api14 w kategorii transkrypcji. To dedykowana oferta transkrypcyjna dostawcy, odrębna od jakiejkolwiek pracy nad generowaniem tekstu lub multimodalnym, i istnieje wyłącznie po to, aby zamieniać nagraną mowę na tekst pisany. Jeśli Twoja aplikacja musi konwertować dźwięk na użyteczny zapis transkrypcji, a inne żądania już kierujesz przez bramę zgodną z OpenAI, to jest model do oceny pod kątem tego zadania.

Model przyjmuje dźwięk jako jedyny modalność wejściową i zwraca transkrypcję jako wynik. Wykonuje automatyczne wykrywanie języka, więc nie musisz z góry informować go, w jakim języku mówiono, zanim przetworzy klip. Gdy wymagane są szczegóły wyrównania, może zwrócić segmenty na poziomie słów z znacznikami czasu, a nie jeden niezróżnicowany blok tekstu. To właśnie synchronizacja na poziomie słów ma największe znaczenie dla wszystkiego, co wykracza poza zwykłe czytanie: pozwala mapować każde słowo z powrotem na punkt w dźwięku. Metadane modelu nie publikują długości kontekstu w tokenach, więc traktuj sam dźwięk, a nie budżet tokenów, jako to, wokół czego dobierasz rozmiar żądań.

Ponieważ wynik może zawierać znaczniki czasu na poziomie słów, bezpośrednio wynikają z tego różne praktyczne zastosowania. Generowanie napisów i podpisów korzysta z synchronizacji segmentów, ponieważ ścieżka napisów musi wiedzieć, kiedy pojawia się każde zdanie. Edytory transkrypcji i narzędzia do notowania mogą podświetlać dźwięk podczas odtwarzania lub pozwalać użytkownikowi kliknąć słowo, aby przeskoczyć do tego momentu. Wyszukiwanie i indeksowanie nagranych spotkań, wywiadów, wykładów lub rozmów ze wsparciem staje się możliwe, gdy mowa jest już tekstem, a wyrównanie słów poprawia precyzję tych trafień. Wykrywanie języka pomaga również, gdy otrzymujesz dźwięk mieszany lub w nieznanym języku i chcesz uzyskać transkrypcję bez wcześniejszego osobnego kroku klasyfikacji.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "fish-audio/transcribe-1". Ponieważ interfejs jest zgodny z konwencją OpenAI, istniejące klienty i SDK, które już wskazują na bazowy adres URL zgodny z OpenAI, mogą wysyłać żądania bez dedykowanej integracji. Model nie wymienia żadnych obsługiwanych parametrów żądania, więc zakładaj standardowy kształt żądania dla wywołania transkrypcji dźwięku i sprawdź schemat żądania pod kątem pól mających zastosowanie do wejścia audio. Gdy potrzebujesz wyniku wyrównania, zażądaj szczegółów wyrównania, aby odpowiedź zawierała segmenty na poziomie słów ze znacznikami czasu zamiast zwykłego tekstu. Metadane odnotowują również maksymalną wartość wyjściową równą zero, co oznacza, że nie należy polegać na opublikowanych metadanych jako pułapie wyjściowym i należy weryfikować rozmiary odpowiedzi względem własnego obciążenia.

Co do dopasowania: ten model jest ograniczony wyłącznie do transkrypcji. Nie generuje tekstu, nie odpowiada na pytania dotyczące dźwięku, nie tłumaczy, nie streszcza ani nie tworzy żadnego wyniku poza transkrypcją, więc zadanie takie jak "streść to spotkanie" wymaga osobnego modelu tekstowego zasilanego transkrypcją. Brak opublikowanych obsługiwanych parametrów i długości kontekstu tokenów oznacza, że nie można tu dostrajać próbkowania ani zachowania rozumowania, a bardzo długie nagrania należy testować względem własnego potoku, zamiast zakładać, że zadziałają w jednym przebiegu. Jeśli Twoim wymaganiem jest mowa na wejściu, dokładny tekst ze znacznikami czasu na wyjściu, z automatycznym wykrywaniem języka, ten model jest wycelowany dokładnie w to.