OpenAI: GPT-4o-mini (2024-07-18)

GPT-4o-mini (2024-07-18) to model generowania tekstu od OpenAI, wydany 18 lipca 2024. Należy do linii małych modeli OpenAI, pozycjonowany przez dostawcę jako jego najbardziej zaawansowany mały model i następca GPT-4 Omni w tym segmencie. Wersjonowany identyfikator modelu przypisuje snapshot do daty 2024-07-18, dzięki czemu zachowanie pozostaje spójne między wywołaniami, zamiast zmieniać się wraz z pływającym aliasem.

Model przyjmuje jako dane wejściowe tekst, obrazy i pliki, a zwraca wyłącznie tekst. Ma okno kontekstu wynoszące 128 000 tokenów i może wygenerować do 16 384 tokenów wyjściowych w jednej odpowiedzi. Jego data odcięcia wiedzy to 31 października 2023, więc wszystko po tej dacie musi pochodzić z promptu, z dostarczonych plików lub z narzędzia wyszukiwania. Ponieważ obsługiwane jest wprowadzanie obrazów, możesz przekazać zrzuty ekranu, zeskanowane strony lub diagramy wraz z instrukcjami tekstowymi i otrzymać odpowiedź tekstową.

Te możliwości odpowiadają wielu codziennym zadaniom programistycznym. Wprowadzanie dokumentów i plików sprawdza się przy streszczaniu, ekstrakcji i odpowiadaniu na pytania dotyczące umów, raportów lub plików PDF, natomiast wprowadzanie obrazów obejmuje czytanie wykresów, paragonów, zrzutów ekranu interfejsu i sfotografowanego tekstu. Kontekst 128k pozwala wysyłać długie transkrypcje, bazy kodu lub pakiety wielu dokumentów bez wcześniejszego dzielenia ich na fragmenty. Wywoływanie narzędzi i ustrukturyzowane dane wyjściowe czynią go rozsądnym wyborem dla agentów, routingu funkcji i potoków wymagających JSON zgodnego ze schematem, a parametry seed, temperature i kary dają kontrolę nad tym, jak deterministyczne lub zróżnicowane jest wyjście.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/gpt-4o-mini-2024-07-18". Ponieważ interfejs jest zgodny z kształtem uzupełnień czatu OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie bazowego adresu URL. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p i web_search_options. Obejmuje to kontrolę próbkowania, limity tokenów, sekwencje stopu, inspekcję prawdopodobieństw logarytmicznych, dane wyjściowe w formacie JSON i ograniczone schematem, definicje narzędzi i wymuszony wybór narzędzi oraz opcje wyszukiwania w sieci.

Dwa ograniczenia warto zauważyć przed podjęciem decyzji. Wyjście jest wyłącznie tekstowe, więc jeśli potrzebujesz generowanych obrazów, dźwięku lub osadzeń, ten model nie jest odpowiedni. Data odcięcia wiedzy 31 października 2023 oznacza, że pytania wrażliwe na czas wymagają pobierania, wprowadzania plików lub opcji wyszukiwania w sieci, a nie polegania na własnej wiedzy modelu. A pułap 16 384 tokenów wyjściowych ogranicza długość pojedynczej odpowiedzi, co ma znaczenie przy zadaniach generowania długich tekstów.