OpenAI: GPT-4o-mini

GPT-4o-mini to model generowania tekstu od OpenAI, wydany 18 lipca 2024. Należy do linii małych modeli OpenAI, pozycjonowany jako następca GPT-4o w tym segmencie, i jest zbudowany do ogólnego zastosowania tekstowego, a nie do jednego wąskiego zadania. Jeśli wybierasz domyślny model dla aplikacji, to właśnie ten typ modelu jest przeznaczony do obsługi szerokiego zakresu codziennych zapytań.

Model przyjmuje jako dane wejściowe tekst, obrazy i pliki, a zwraca wyłącznie tekst. Jego okno kontekstowe wynosi 128 000 tokenów, a maksymalna odpowiedź to 16 384 tokeny. Data odcięcia wiedzy to 31 października 2023, więc wszystko po tej dacie wykracza poza to, czego model nauczył się podczas treningu. Ponieważ dane wejściowe w postaci obrazów i plików są obsługiwane obok tekstu, możesz wysłać mieszaną zawartość w jednym zapytaniu i otrzymać odpowiedź tekstową, co upraszcza integrację, jeśli Twoja aplikacja już działa z promptami tekstowymi.

Te możliwości wskazują na kilka praktycznych zastosowań. Analiza dokumentów i plików jest naturalnym zastosowaniem, ponieważ możesz przekazać plik i poprosić o podsumowanie, ekstrakcję lub odpowiadanie na pytania dotyczące jego zawartości. Rozumienie obrazów obejmuje zadania takie jak opisywanie zrzutu ekranu, odczytywanie wykresu lub wyciąganie ustrukturyzowanych szczegółów ze zdjęcia. Ogólny czat, redagowanie, klasyfikacja, przepisywanie i pomoc w kodzie działają z samym tekstem. Duże okno kontekstowe oznacza, że długie dokumenty lub rozmowy wieloetapowe można obsłużyć bez dzielenia ich na wiele małych zapytań, a limit odpowiedzi wynoszący 16 384 tokeny daje miejsce na dłuższe generowane odpowiedzi.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/gpt-4o-mini". Ponieważ interfejs jest zgodny z formatem OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie jedynie bazowego adresu URL i klucza. Model obsługuje szeroki zestaw parametrów zapytania: frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p oraz web_search_options. Wywoływanie narzędzi i ustrukturyzowane dane wyjściowe są dostępne, więc możesz wpiąć model w przepływy wywoływania funkcji lub wymusić odpowiedzi zgodne ze schematem. Parametr seed pomaga w powtarzalności, a web_search_options pozwala zapytaniu korzystać z wyszukiwania.

Dwa ograniczenia warto zauważyć przed podjęciem decyzji. Data odcięcia wiedzy 31 października 2023 oznacza, że model nie ma wbudowanej świadomości późniejszych zdarzeń, więc pytania wrażliwe na czas wymagają wyszukiwania lub pobierania danych, a nie polegania wyłącznie na modelu. Dane wyjściowe to wyłącznie tekst, więc jeśli potrzebujesz generowanych obrazów lub dźwięku, ten model nie jest właściwym wyborem. W tych granicach jest rozsądnym domyślnym wyborem dla zadań związanych z tekstem i rozumieniem obrazów.