OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) to model generowania tekstu od OpenAI, oferowany tutaj pod identyfikatorem modelu openai/gpt-4o:batch. Należy do rodziny GPT-4o, gdzie "o" oznacza "omni", a OpenAI opisuje go jako obsługujący zarówno dane wejściowe tekstowe, jak i obrazowe, z wyjściem tekstowym. Wariant batch to ten sam model bazowy udostępniany przez przepływ pracy wsadowej, a nie interaktywnej, co czyni go odpowiednim do zadań, które nie wymagają natychmiastowej odpowiedzi.

Jeśli chodzi o możliwości, model przyjmuje jako dane wejściowe tekst, obrazy i pliki, a zwraca wyłącznie tekst. Ma okno kontekstu wynoszące 128 000 tokenów i może wygenerować do 16 384 tokenów w pojedynczej odpowiedzi. Jego data odcięcia wiedzy to 31 października 2023, więc wszystko po tej dacie musi pochodzić z promptu lub z narzędzia, a nie z własnego treningu modelu. Obsługiwane parametry żądania obejmują temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs i top_logprobs, a także response_format, structured_outputs, tools, tool_choice, prediction i web_search_options.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Ponieważ obrazy i pliki można przekazywać razem z tekstem, model nadaje się do przeglądu dokumentów, ekstrakcji ze skanów lub materiałów PDF oraz streszczania długich raportów, które w innym przypadku przekraczałyby mniejsze okno kontekstu. Okno 128 000 tokenów sprawia również, że jest rozsądny do analizowania dużych baz kodu, długich transkrypcji lub zestawów wielu dokumentów w jednym żądaniu. Wywoływanie narzędzi i ustrukturyzowane wyjścia czynią go kandydatem do potoków, w których model musi zwracać czytelny maszynowo JSON lub wywoływać funkcje zewnętrzne, a tryb wsadowy pasuje do zadań offline, takich jak masowa klasyfikacja, tagowanie treści lub generowanie streszczeń w dużym korpusie.

Wywoływanie go przez api14 działa tak samo jak w przypadku każdego innego punktu końcowego zgodnego z OpenAI. Wysyłasz żądanie do trasy chat completions z polem model ustawionym na openai/gpt-4o:batch i możesz przekazać dowolny z parametrów wymienionych powyżej w treści żądania. Ponieważ punkt końcowy jest zgodny ze schematem OpenAI, istniejące biblioteki klienta i zestawy SDK OpenAI zasadniczo działają bez modyfikacji, a przełączanie między modelami jest zwykle kwestią zmiany identyfikatora modelu.

Jedna rzecz, o której warto pamiętać, to data odcięcia wiedzy 31 października 2023, co oznacza, że pytania o późniejsze wydarzenia wymagają ugruntowania przez prompt lub przez web_search_options. Wyjście jest wyłącznie tekstowe, więc generowanie obrazów jest poza zakresem. Jeśli Twoje obciążenie wymaga synchronicznej odpowiedzi o niskim opóźnieniu, a nie przetwarzania wsadowego, bardziej naturalnym wyborem byłby wariant GPT-4o niebędący trybem wsadowym.