ElevenLabs: Scribe v2

ElevenLabs: Scribe v2 to model zamiany mowy na tekst od ElevenLabs, dostawcy znanego z prac nad dźwiękiem i głosem. Należy do kategorii transkrypcji, więc jego zadaniem jest konwertowanie mowy na tekst, a nie generowanie odpowiedzi konwersacyjnych. Jeśli Twój potok wymaga dedykowanego kroku transkrypcji, to właśnie taki model oceniałbyś osobno, a nie jako ogólnego modelu czatu.

Model przyjmuje dźwięk jako dane wejściowe i zwraca transkrypcję jako dane wyjściowe. Według dostawcy obsługuje zamianę mowy na tekst w ponad 90 językach. Tworzy znaczniki czasu na poziomie słów, które pozwalają dopasować każde słowo w transkrypcji do punktu w dźwięku. Diaryzacja mówców jest dostępna jako opcja, więc możesz rozróżnić, kto co powiedział w nagraniu z wieloma mówcami. Obsługiwane jest również oznaczanie zdarzeń dźwiękowych, co oznacza, że dźwięki inne niż mowa mogą być zaznaczone w danych wyjściowych. Dla tego modelu nie podano długości kontekstu, więc traktuj go jako punkt końcowy transkrypcji, a nie coś, do czego podajesz długie prompty tekstowe.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Znaczniki czasu na poziomie słów są przydatne, gdy potrzebujesz napisów lub podpisów zsynchronizowanych z dźwiękiem albo gdy chcesz przejść do dokładnego momentu wypowiedzenia frazy. Diaryzacja mówców pasuje do nagrań spotkań, wywiadów i nagrań rozmów, w których musisz przypisać każdą kwestię do uczestnika. Oznaczanie zdarzeń dźwiękowych pomaga, gdy transkrypcja powinna odnotować więcej niż mowę, na przykład oznaczyć dźwięk występujący podczas nagrania. Obsługa ponad 90 języków czyni go kandydatem do wielojęzycznych archiwów lub produktów obsługujących użytkowników w różnych regionach.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "elevenlabs/scribe-v2". Ponieważ interfejs jest zgodny z formatem OpenAI, możesz skierować istniejącego klienta OpenAI na api14 i wysłać żądanie audio z tym identyfikatorem. Model nie wymienia żadnych obsługiwanych parametrów żądania, więc nie ma tutaj udokumentowanych dodatkowych opcji dostrajania poza tym, co przyjmuje sam punkt końcowy. Szczegóły podają również maksymalne wyjście wynoszące 0, co warto sprawdzić względem oczekiwanych długości transkrypcji, zanim się na niego zdecydujesz.

Biorąc pod uwagę pustą listę parametrów i brak podanej długości kontekstu, ten model najlepiej traktować jako wyspecjalizowaną usługę transkrypcji, a nie konfigurowalny model tekstowy. Jeśli potrzebujesz modelu, który przyjmuje prompty tekstowe i generuje tekst, albo takiego, w którym możesz dostosować próbkowanie i podobne ustawienia, lepiej pasować będzie inny model w api14. Do dźwięku na wejściu i transkrypcji na wyjściu Scribe v2 jest bezpośrednią opcją.