AssemblyAI: Universal-3.5 Pro

AssemblyAI: Universal-3.5 Pro to model zamiany mowy na tekst od AssemblyAI, udostępniany przez Sync API dostawcy. Należy do kategorii transkrypcji, więc jego zadanie jest wąskie i konkretne: zamiana dźwięku na tekst, a nie obsługa czatu, rozumowania czy zadań generowania. Jeśli budujesz coś, co potrzebuje transkrypcji, to jest właśnie ten rodzaj modelu, który warto ocenić obok innych opcji transkrypcji.

Model przyjmuje jako dane wejściowe wyłącznie dźwięk i zwraca transkrypcję jako dane wyjściowe. Tworzy pełny zapis z znacznikami czasu na poziomie słów w jednej synchronicznej odpowiedzi, co oznacza, że otrzymujesz informacje o czasie dla każdego słowa bez osobnego kroku wyrównywania. Ścieżka Sync API jest przeznaczona dla klipów audio do 120 sekund, więc model działa na krótkich nagraniach, a nie na długich plikach. Dla tego modelu nie podano okna kontekstu, a maksymalne dane wyjściowe są zapisane jako zero, co odzwierciedla fakt, że nie jest to model generowania tekstu z budżetem tokenów w zwykłym sensie.

Praktyczne zastosowania wynikają bezpośrednio z tych cech. Znaczniki czasu na poziomie słów czynią go odpowiednim do generowania napisów i podpisów, gdzie każde słowo potrzebuje przesunięcia czasowego. Krótkie klipy są powszechne w notatkach głosowych, fragmentach rozmów z pomocą techniczną, krótkich wywiadach i transkrypcji notatek głosowych, więc synchroniczne wywołanie, które zwraca pełny zapis w jednej odpowiedzi, pasuje do narzędzi interaktywnych, które nie mogą czekać na zadanie wsadowe. Ponieważ odpowiedź jest synchroniczna, można ją wpiąć w przepływ żądanie i odpowiedź, na przykład użytkownik przesyła klip i otrzymuje transkrypcję oraz znaczniki czasu z powrotem w tej samej interakcji.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "assemblyai/universal-3-5-pro". Żądanie zawiera dane wejściowe audio, a odpowiedź zwraca transkrypcję ze znacznikami czasu na poziomie słów. Model nie wymienia żadnych obsługiwanych parametrów, więc nie należy oczekiwać możliwości przekazywania ustawień próbkowania, temperatury, top_p ani podobnych ustawień generowania; zachowanie transkrypcji jest ustalone przez dostawcę. Traktuj go jako punkt końcowy transkrypcji, a nie punkt końcowy uzupełniania czatu, i sprawdź aktualną tabelę cen na stronie, aby poznać bieżące stawki.

Głównym ograniczeniem, o którym należy pamiętać, jest długość klipu. Sync API obsługuje dźwięk do 120 sekund, więc dłuższe nagrania wykraczają poza to, co ten model jest w stanie obsłużyć w jednym synchronicznym wywołaniu, i potrzebne byłoby inne podejście lub inny model. Jeśli Twoim zadaniem jest generowanie tekstu, czat lub cokolwiek poza zamianą mowy na tekst, ten model nie jest właściwym wyborem, ponieważ jego dane wejściowe to dźwięk, a dane wyjściowe to transkrypcja.