OpenAI: Whisper 1

OpenAI: Whisper 1 to model automatycznego rozpoznawania mowy od OpenAI, dystrybuowany przez jego API pod identyfikatorem modelu whisper-1. Sam Whisper to rodzina open source do rozpoznawania mowy od OpenAI, a ten endpoint udostępnia tę możliwość jako usługę hostowaną. Należy do kategorii transkrypcji, więc jego zadaniem jest zamiana nagranej mowy na tekst pisany, a nie generowanie odpowiedzi konwersacyjnych ani rozumowanie nad promptami.

Model przyjmuje jako jedyne wejście audio i zwraca jako wyjście transkrypcję. Obsługuje zarówno transkrypcję, jak i tłumaczenie oraz obejmuje ponad 50 języków. Pliki audio mogą mieć do 25 MB, a model akceptuje szereg popularnych formatów audio. Nie ma tu okna kontekstu tekstowego do zarządzania, ponieważ model nie zużywa ani nie produkuje sekwencji tokenów w stylu czatu; jednostką pracy jest plik audio, a wynikiem odpowiadający mu tekst. Strona modelu nie wymienia żadnych konfigurowalnych parametrów żądania, więc pracujesz z wartościami domyślnymi udostępnianymi przez endpoint.

Ponieważ wyjściem jest tekst pochodzący z mowy, praktyczne zastosowania wynikają bezpośrednio z tego faktu. Możesz transkrybować nagrania spotkań, wywiady, wykłady, podcasty lub notatki głosowe na tekst możliwy do przeszukiwania i edycji. Możliwość tłumaczenia oznacza, że audio w jednym z obsługiwanych języków można przekształcić na tekst angielski, co jest przydatne w wielojęzycznych archiwach lub nagraniach wsparcia. Generowanie napisów i podpisów do wideo to kolejne naturalne zastosowanie, podobnie jak budowanie warstwy tekstowej nad biblioteką nagrań rozmów do późniejszego przeglądu lub indeksowania. Każdy przepływ pracy, w którym audio ma stać się treścią pisemną, przy rozmiarze pliku do 25 MB, jest kandydatem.

Wywoływanie go przez api14 działa tak samo jak w przypadku każdego innego modelu w bramie, przy użyciu API zgodnego z OpenAI z identyfikatorem modelu openai/whisper-1. Wysyłasz audio do endpointu transkrypcji w formacie oczekiwanym przez OpenAI API, a odpowiedź zawiera transkrybowany tekst. Ponieważ lista obsługiwanych parametrów jest pusta, nie ma dodatkowych opcji udokumentowanych dla tego modelu w api14; przekazujesz audio i identyfikator modelu, a następnie odczytujesz transkrypcję. Jeśli Twoja aplikacja już obsługuje OpenAI API, przejście na ten model sprowadza się do zmiany identyfikatora modelu.

Jedna rzecz do zapamiętania to limit rozmiaru pliku 25 MB. Dłuższe nagrania będą wymagały podzielenia przed przesłaniem, a jeśli Twoje audio przekracza ten rozmiar, musisz samodzielnie je pociąć lub wstępnie przetworzyć. Zwróć też uwagę, że ten model tworzy wyłącznie transkrypcje; jeśli potrzebujesz modelu, który odpowiada na pytania, wykonuje instrukcje lub generuje tekst, lepszym wyborem będzie model czatu lub model językowy. Whisper 1 to właściwy wybór, gdy zadanie polega ściśle na zamianie mowy na tekst.