OpenAI: GPT-4o

GPT-4o to model generowania tekstu od OpenAI, identyfikowany w api14 jako openai/gpt-4o. Nazwa oznacza "omni", co odzwierciedla, że przyjmuje więcej niż jeden rodzaj danych wejściowych. Został udostępniony przez dostawcę 13 maja 2024 i należy do kategorii tekstowej, z datą odcięcia wiedzy 31 października 2023. Jeśli korzystałeś z GPT-4 Turbo, GPT-4o jest pozycjonowany jako utrzymujący ten poziom inteligencji, więc jest rozsądnym domyślnym wyborem, gdy chcesz ogólnego modelu OpenAI, a nie specjalizowanego.

Na wejściu model przyjmuje tekst, obrazy i pliki, a generuje wyłącznie tekst. Ta kombinacja ma znaczenie dla zadań, w których prompt to nie tylko proza: zrzut ekranu, zeskanowana strona lub załączony dokument mogą być wysłane razem z instrukcjami, a model odpowiada tekstem. Okno kontekstu wynosi 128 000 tokenów, co wystarcza na długie dokumenty, rozmowy wieloetapowe lub duże pliki kodu w jednym żądaniu. Wyjście jest ograniczone do 16 384 tokenów na odpowiedź, więc bardzo długie generowania trzeba planować z uwzględnieniem tego limitu, na przykład prosząc o sekcje po kolei.

Praktyczne zastosowania wynikają z tych możliwości. Odpowiadanie na pytania dotyczące dokumentów i streszczanie działają dobrze, gdy załączysz plik lub wkleisz długi transkrypt i poprosisz o konkretne odpowiedzi. Rozumienie obrazów wspiera zadania takie jak czytanie wykresów, opisywanie zrzutów ekranu, wyodrębnianie tekstu ze zdjęć lub sprawdzanie makiety UI względem specyfikacji. Ponieważ model obsługuje narzędzia i ustrukturyzowane wyjścia, pasuje również do przepływów pracy w stylu agentowym oraz potoków ekstrakcji danych, w których odpowiedź musi być zgodna ze schematem. Ogólny czat, tworzenie szkiców, przepisywanie i pomoc w kodzie mieszczą się w zakresie, a długi kontekst czyni go użytecznym do pytań na poziomie repozytorium, a nie pojedynczych fragmentów.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu openai/gpt-4o, więc istniejące zestawy SDK i klienty OpenAI działają po zmianie tylko bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p oraz web_search_options. W praktyce obejmuje to kontrolę próbkowania, zachowanie w miarę deterministyczne dzięki seed, wyjście ograniczone przez JSON i schemat poprzez response_format i structured_outputs, wywoływanie funkcji poprzez tools i tool_choice, limity tokenów oraz opcjonalne wyszukiwanie w sieci.

Dwa ograniczenia warto mieć na uwadze przy wyborze. Wyjście zatrzymuje się na 16 384 tokenach, więc jeśli potrzebujesz jednego bardzo długiego generowania, możesz musieć podzielić pracę lub wybrać model z większym limitem wyjścia. Data odcięcia wiedzy 31 października 2023 oznacza, że model sam z siebie nie zna późniejszych wydarzeń, i tu przydaje się parametr web_search_options lub własny pobrany kontekst. Jeśli twoje zadanie jest czysto tekstowe i nie korzysta z danych wejściowych w postaci obrazów lub plików, mniejszy model tylko tekstowy może być tańszy i szybszy dla tego samego zadania.