OpenAI: o3 (batch)

OpenAI o3 (batch) to model tekstowy od OpenAI, oferowany tutaj pod identyfikatorem modelu openai/o3:batch. Należy do rodziny o3, którą OpenAI opisuje jako wszechstronny i wydajny model w wielu dziedzinach, wyznaczający nowy standard dla zadań z matematyki, nauki, kodowania i rozumowania wizualnego, a także dobrze radzący sobie z pisaniem technicznym i podążaniem za instrukcjami. Wariant batch to ten sam model bazowy udostępniony przez endpoint w stylu batch na api14, co czyni go odpowiednim dla obciążeń, w których możesz przesłać pracę i zebrać wyniki, zamiast potrzebować każdej odpowiedzi w czasie rzeczywistym.

Model przyjmuje dane wejściowe w postaci obrazów, tekstu i plików, a zwraca tekst. Jego okno kontekstu wynosi 200 000 tokenów, a maksymalne wyjście to 100 000 tokenów, więc długie dane wejściowe i długie generacje są możliwe w tym samym żądaniu. Data odcięcia wiedzy to 2024-06-30, co ma znaczenie, gdy Twoje zadanie zależy od niedawnych wydarzeń lub świeżo opublikowanych materiałów. Ponieważ przyjmuje obrazy i pliki obok tekstu, może pracować na mieszanych danych wejściowych, takich jak dokument plus pytanie albo zrzut ekranu plus instrukcja, bez osobnego modelu przetwarzania wstępnego.

Te możliwości wskazują na dość szeroki zestaw praktycznych zastosowań. Prace wymagające intensywnego rozumowania, takie jak wieloetapowa matematyka, rozwiązywanie problemów naukowych oraz generowanie lub debugowanie kodu, pasują tu naturalnie, podobnie jak rozumowanie wizualne na diagramach, wykresach lub zrzutach ekranu. Pisanie techniczne i podążanie za instrukcjami czynią go użytecznym do tworzenia ustrukturyzowanej dokumentacji, szkicowania specyfikacji i zadań, w których potrzebujesz, aby model trzymał się formatu. Kontekst 200 000 tokenów pomaga przy długich raportach, dużych plikach źródłowych lub danych wejściowych z wielu dokumentów, a limit wyjścia 100 000 tokenów wspiera generowanie długich treści w jednym wywołaniu.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu openai/o3:batch. Obsługiwane parametry żądania to include_reasoning, max_tokens, reasoning, response_format, seed, structured_outputs, tool_choice i tools. W praktyce oznacza to, że możesz kontrolować zachowanie rozumowania i to, czy rozumowanie jest ujawniane, ograniczać długość wyjścia za pomocą max_tokens, żądać wyjścia ustrukturyzowanego lub w stylu JSON przez response_format i structured_outputs, zapewniać powtarzalność uruchomień za pomocą seed oraz definiować wywoływanie funkcji przez tools i tool_choice.

Jednym ograniczeniem wartym uwagi jest data odcięcia wiedzy 2024-06-30, więc jeśli Twoja aplikacja potrzebuje aktualnych informacji, będziesz musiał dostarczyć je w prompcie lub przez narzędzia. Jeśli Twoje zadanie jest czysto tekstowe i nie korzysta z rozumowania, obrazów ani plików wejściowych, lżejszy model tekstowy może być lepszym wyborem.