OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) to model generowania tekstu od OpenAI, oferowany tutaj w wariancie batch. Należy do rodziny GPT-4o i jest pozycjonowany jako mały model OpenAI, plasujący się poniżej pełnego GPT-4o. Dostawca udostępnił go 18 lipca 2024, a jego wiedza treningowa sięga 31 października 2023. Jeśli korzystałeś z innych modeli OpenAI, zachowanie i interfejs będą znajome.

Model przyjmuje jako dane wejściowe tekst, obrazy i pliki, a zwraca wyłącznie tekst. Jego okno kontekstu wynosi 128 000 tokenów, co wystarcza na długie dokumenty, wieloetapowe rozmowy lub mieszankę prozy i obrazów w jednym żądaniu. Dane wyjściowe są ograniczone do 16 384 tokenów na odpowiedź. Ponieważ obsługiwane są obrazy wejściowe, możesz wysłać zrzuty ekranu, diagramy lub zeskanowane strony wraz z podpowiedzią tekstową i poprosić o pisemną odpowiedź. Wejście plikowe rozszerza to na dokumenty, które chcesz podsumować, z których chcesz coś wyodrębnić lub o które chcesz zadać pytanie.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Odpowiadanie na pytania dotyczące dokumentów na podstawie długich plików PDF lub raportów, podsumowywanie spotkań i wątków, wyodrębnianie ustrukturyzowanych pól z nieustrukturyzowanego tekstu, klasyfikacja i tagowanie oraz tworzenie lub przepisywanie treści to wszystko rozsądne zastosowania. Wejście obrazowe czyni go użytecznym do zadań takich jak czytanie wykresów, transkrypcja widocznego tekstu lub opisywanie zawartości zrzutu ekranu. Wywoływanie narzędzi i ustrukturyzowane dane wyjściowe oznaczają, że może działać w pętli agenta lub zasilać system niższego szczebla, który oczekuje stałego schematu, a opcja wyszukiwania w sieci pozwala żądaniu pobrać kontekst zewnętrzny.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "openai/gpt-4o-mini:batch". Ponieważ interfejs jest zgodny z OpenAI, istniejące zestawy SDK i klienty OpenAI działają po zmianie jedynie bazowego adresu URL i klucza. Obsługiwane parametry żądania to frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p oraz web_search_options. Obejmuje to kontrolę próbkowania, deterministyczne uruchomienia przez seed, dekodowanie z ograniczeniami przez response_format i structured_outputs oraz użycie narzędzi przez tools i tool_choice.

Dwie rzeczy warto sprawdzić przed podjęciem decyzji. Granica wiedzy to 31 października 2023, więc wszystko nowsze musi pochodzić z twojej podpowiedzi lub z web_search_options. Dane wyjściowe są wyłącznie tekstem, więc jeśli potrzebujesz generowanych obrazów lub dźwięku, ten model nie jest tym właściwym. A ponieważ jest to wariant batch, potwierdź, że jego profil opóźnień odpowiada twojej aplikacji; jeśli potrzebujesz czasów odpowiedzi interaktywnych, porównaj ze standardowym wpisem niebędącym wariantem batch dla tego samego modelu.