OpenAI: o3 (batch)

OpenAI o3 (batch) is een tekstmodel van OpenAI, hier aangeboden onder de model-id openai/o3:batch. Het behoort tot de o3-familie, die OpenAI beschrijft als een veelzijdig en krachtig model across domeinen, dat een nieuwe standaard zet voor wiskunde, wetenschap, coderen en visuele redeneertaken, en ook goed presteert op technisch schrijven en het volgen van instructies. De batch-variant is hetzelfde onderliggende model dat via een batch-endpoint op api14 wordt aangeboden, wat het geschikt maakt voor workloads waarbij je werk kunt indienen en resultaten kunt ophalen in plaats van dat elke reactie direct beschikbaar moet zijn.

Het model accepteert afbeeldingen, tekst en bestanden als invoer en retourneert tekst. Het contextvenster is 200.000 tokens en de maximale uitvoer is 100.000 tokens, dus zowel lange invoer als lange generaties zijn mogelijk binnen hetzelfde verzoek. De kennisafsluitdatum is 2024-06-30, wat belangrijk is wanneer je taak afhangt van recente gebeurtenissen of pas gepubliceerd materiaal. Omdat het afbeeldingen en bestanden naast tekst accepteert, kan het werken met gemengde invoer zoals een document plus een vraag, of een schermafbeelding plus een instructie, zonder een apart voorverwerkingsmodel.

Die mogelijkheden wijzen op een vrij breed scala aan praktische toepassingen. Redeneerintensief werk zoals meerstaps wiskunde, wetenschappelijk probleemoplossen en codegeneratie of debugging past van nature goed, en dat geldt ook voor visueel redeneren over diagrammen, grafieken of schermafbeeldingen. Technisch schrijven en het volgen van instructies maken het bruikbaar voor gestructureerde documentatie, het opstellen van specificaties en taken waarbij je wilt dat het model zich aan een formaat houdt. De context van 200.000 tokens helpt bij lange rapporten, grote bronbestanden of invoer met meerdere documenten, en het uitvoerplafond van 100.000 tokens ondersteunt het genereren van lange teksten in één aanroep.

Je roept het aan via de OpenAI-compatibele API van api14 met de model-id openai/o3:batch. De ondersteunde verzoekparameters zijn include_reasoning, max_tokens, reasoning, response_format, seed, structured_outputs, tool_choice en tools. In de praktijk betekent dit dat je het redeneergedrag en of redenering wordt getoond kunt beheren, de uitvoerlengte kunt beperken met max_tokens, gestructureerde of JSON-achtige uitvoer kunt aanvragen via response_format en structured_outputs, runs reproduceerbaar kunt maken met seed, en functieaanroepen kunt definiëren met tools en tool_choice.

Een beperking die het vermelden waard is, is de kennisafsluitdatum van 2024-06-30, dus als je toepassing actuele informatie nodig heeft, moet je die in de prompt of via tools aanleveren. Als je taak puur tekstueel is en geen baat heeft bij redeneren, afbeeldingen of bestandsinvoer, kan een lichter tekstmodel een betere keuze zijn.