OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) is een tekstgeneratiemodel van OpenAI, hier aangeboden onder het model-id openai/gpt-4o:batch. Het behoort tot de GPT-4o-familie, waarbij de "o" staat voor "omni", en OpenAI beschrijft het als ondersteuning voor zowel tekst- als afbeeldingsinvoer met tekstuitvoer. De batch-variant is hetzelfde onderliggende model dat via een batch-workflow wordt aangeboden in plaats van een interactieve, wat het geschikt maakt voor werk dat geen onmiddellijk antwoord nodig heeft.

Qua mogelijkheden accepteert het model tekst, afbeeldingen en bestanden als invoer en retourneert het alleen tekst. Het heeft een contextvenster van 128.000 tokens en kan tot 16.384 tokens produceren in een enkele reactie. De kennisafsluitdatum is 31 oktober 2023, dus alles na die datum moet uit de prompt of uit een tool komen in plaats van uit de eigen training van het model. De ondersteunde aanvraagparameters omvatten temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs en top_logprobs, samen met response_format, structured_outputs, tools, tool_choice, prediction en web_search_options.

Die mogelijkheden wijzen op een vrij breed scala aan praktische toepassingen. Omdat afbeeldingen en bestanden samen met tekst kunnen worden doorgegeven, is het model geschikt voor documentbeoordeling, extractie uit gescand of PDF-materiaal, en samenvatting van lange rapporten die anders een kleiner contextvenster zouden overschrijden. Het venster van 128.000 tokens maakt het ook redelijk voor het analyseren van grote codebases, lange transcripties of meerdere documenten in één aanvraag. Tool calling en structured outputs maken het een kandidaat voor pipelines waarin het model machineleesbare JSON moet retourneren of externe functies moet aanroepen, en de batch-route past bij offline taken zoals bulkclassificatie, content tagging of het genereren van samenvattingen over een groot corpus.

Het aanroepen via api14 werkt hetzelfde als bij elke andere OpenAI-compatibele endpoint. Je stuurt een aanvraag naar de chat completions-route met het modelveld ingesteld op openai/gpt-4o:batch, en je kunt elk van de hierboven genoemde parameters in de request body doorgeven. Omdat de endpoint het OpenAI-schema volgt, werken bestaande OpenAI-clientbibliotheken en SDK's over het algemeen zonder wijziging, en het wisselen tussen modellen is meestal een kwestie van het model-id aanpassen.

Een ding om in gedachten te houden is de kennisafsluitdatum van 31 oktober 2023, wat betekent dat vragen over latere gebeurtenissen grounding nodig hebben via de prompt of via web_search_options. Uitvoer is alleen tekst, dus beeldgeneratie valt buiten bereik. Als je workload een synchrone reactie met lage latentie nodig heeft in plaats van batchverwerking, dan zou een niet-batch GPT-4o-variant de natuurlijkere keuze zijn.