OpenAI: Whisper Large V3

OpenAI: Whisper Large V3 to model automatycznego rozpoznawania mowy od OpenAI, dystrybuowany jako open source. Należy do kategorii transkrypcji i jest dużą wersją rodziny Whisper, co oznacza, że to wariant, który OpenAI pozycjonuje jako zapewniający najszersze pokrycie językowe i obsługę najbardziej wymagającego audio. Jeśli już kierujesz inne modele OpenAI przez api14, ten pochodzi od tego samego dostawcy i stosuje te same konwencje.

Model przyjmuje audio jako jedyne wejście i zwraca transkrypcję jako wyjście. Według OpenAI obsługuje zarówno transkrypcję, jak i tłumaczenie, więc możesz albo zapisać mowę w jej oryginalnym języku, albo przełożyć ją na inny. Obejmuje ponad 99 języków i akceptuje popularne formaty audio, w tym mp3, mp4, wav i webm. Nie ma tu okna kontekstu, wokół którego trzeba planować, a maksymalne wyjście jest podane jako zero, więc to plik audio, a nie budżet tokenów, jest tym, względem czego powinieneś dobierać rozmiar żądań.

Te możliwości wskazują na dość konkretny zestaw zadań. Nagrania spotkań i rozmów można zamienić na tekst do wyszukiwania, przeglądu lub archiwizacji. Wywiady i sesje badań użytkowników można transkrybować masowo, w tym materiał w językach, którymi twój zespół nie mówi, ponieważ model obejmuje ponad 99 języków. Podcasty, wykłady i pliki wideo w mp3, mp4, wav lub webm można zamienić na zapisy tekstowe lub napisy. Ponieważ tłumaczenie jest częścią tego samego modelu, możesz wysłać audio w języku innym niż angielski i otrzymać wynik w języku docelowym bez uruchamiania osobnego kroku tłumaczenia.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/whisper-large-v3". Ponieważ interfejs odpowiada interfejsowi OpenAI, istniejące biblioteki klienckie OpenAI i kształty żądań działają po zmianie jedynie bazowego adresu URL i klucza. Lista obsługiwanych parametrów modelu jest pusta, więc nie oczekuj możliwości dostrajania próbkowania, temperatury ani podobnych ustawień; wyślij audio i odczytaj transkrypcję. Sprawdź bieżącą tabelę cen na tej stronie, aby poznać aktualne stawki, zanim zobowiążesz się do obciążenia.

Jedno praktyczne zastrzeżenie: to model transkrypcji, a nie model czatu ani rozumowania. Nie przyjmuje tekstowych podpowiedzi jako wejścia i nie tworzy wyjścia konwersacyjnego, więc zadania takie jak streszczanie transkrypcji, odpowiadanie na pytania o nią czy generowanie kodu należą do modelu tekstowego. Częstym wzorcem jest łączenie obu, używanie Whisper Large V3 do utworzenia transkrypcji i osobnego modelu językowego do pracy na powstałym tekście. Jeśli twoje wejście jest już tekstem albo twoje audio jest w języku spoza obsługiwanego zestawu, ten model nie jest właściwym wyborem.