OpenAI: GPT Audio

GPT Audio to model OpenAI wymieniony na api14 pod identyfikatorem openai/gpt-audio. Należy do kategorii audio i jest pierwszym ogólnie dostępnym modelem audio OpenAI. Snapshot zawiera ulepszony dekoder mający na celu generowanie bardziej naturalnie brzmiących głosów i zachowuje lepszą spójność głosu niż wcześniejsze prace audio tego samego dostawcy. Jeśli budujesz cokolwiek, co musi mówić lub słuchać, a nie tylko czytać i pisać tekst, to jest model, który OpenAI pozycjonuje do tego zadania.

Model przyjmuje zarówno tekst, jak i audio jako dane wejściowe, i może zwracać zarówno tekst, jak i audio jako dane wyjściowe. Ta dwukierunkowa zdolność jest główną cechą odróżniającą go od czystego modelu tekstowego: możesz wysłać audio i otrzymać transkrypcję lub odpowiedź, albo wysłać tekst i otrzymać z powrotem syntezowaną mowę. Okno kontekstu wynosi 128000 tokenów, co jest wystarczająco duże, aby pomieścić długie rozmowy lub obszerne transkrypcje audio wraz z instrukcjami i wcześniejszymi turami. Maksymalne wyjście to 16384 tokeny, więc odpowiedzi, w tym wszelka wygenerowana treść audio, są ograniczone tą wartością.

Praktyczne zastosowania wynikają bezpośrednio z tych modalności. Asystenci głosowi i agenci konwersacyjni są oczywistym zastosowaniem, ponieważ model może przyjmować dane wejściowe mówione i odpowiadać mową, zachowując spójny głos w kolejnych turach. Zadania transkrypcji i rozumienia audio również działają, w tym streszczanie nagrania lub odpowiadanie na pytania o to, co zostało powiedziane. Ponieważ obsługuje również wyjście tekstowe, możesz go używać w aplikacjach typu chat, w których niektórzy użytkownicy piszą, a inni mówią, bez uruchamiania dwóch oddzielnych potoków. Ulepszony dekoder ma największe znaczenie tam, gdzie jakość i spójność głosu są zauważalne dla użytkowników końcowych, na przykład w agentach obsługujących klientów lub treściach narracyjnych.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu openai/gpt-audio, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs i top_p. Wywoływanie narzędzi i ustrukturyzowane wyjścia są dostępne, co oznacza, że możesz podłączyć model do przepływów wywoływania funkcji lub ograniczyć jego wyjście tekstowe do schematu. Parametr seed pomaga, gdy chcesz uzyskać powtarzalne wyniki, a response_format pozwala sterować kształtem odpowiedzi.

Pamiętaj o górnym limicie wyjścia: 16384 tokeny to dużo jak na rozmowę, ale nie jest to nieograniczone, więc bardzo długie generowane audio lub rozbudowane dokumenty mogą wymagać podzielenia na kilka wywołań. Jeśli twoje zadanie jest czysto tekstowe i nigdy nie dotyka audio, dedykowany model tekstowy może być prostszym i bardziej przewidywalnym wyborem, ponieważ to możliwości audio tutaj uzasadniają sięgnięcie po ten model. Dla wszystkiego, co naprawdę wymaga mowy na wejściu lub mowy na wyjściu, GPT Audio jest bezpośrednią opcją na api14.