OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) is een tekstgeneratiemodel van OpenAI, hier aangeboden in zijn batchvariant. Het behoort tot de GPT-4o-familie en is gepositioneerd als OpenAI's kleine model, onder het volledige GPT-4o. De provider bracht het uit op 18 juli 2024, en de trainingskennis loopt tot 31 oktober 2023. Als je andere OpenAI-modellen hebt gebruikt, zullen het gedrag en de interface vertrouwd aanvoelen.

Het model accepteert tekst, afbeeldingen en bestanden als invoer, en het retourneert alleen tekst. Het contextvenster is 128.000 tokens, wat genoeg is om lange documenten, gesprekken met meerdere beurten of een mix van proza en afbeeldingen in één verzoek te bevatten. De uitvoer is beperkt tot 16.384 tokens per antwoord. Omdat afbeeldingsinvoer wordt ondersteund, kun je screenshots, diagrammen of gescande pagina's samen met een tekstprompt sturen en om een geschreven antwoord vragen. Bestandsinvoer breidt dit uit naar documenten die je wilt samenvatten, waaruit je wilt extraheren of waarover je vragen wilt stellen.

Die mogelijkheden wijzen op een redelijk breed scala aan praktische toepassingen. Documentvragen beantwoorden over lange PDF's of rapporten, samenvatten van vergaderingen en threads, extraheren van gestructureerde velden uit ongestructureerde tekst, classificatie en tagging, en het opstellen of herschrijven van content passen allemaal redelijk. Afbeeldingsinvoer maakt het bruikbaar voor taken zoals het lezen van grafieken, het transcriberen van zichtbare tekst of het beschrijven van wat er in een screenshot staat. Tool calling en gestructureerde uitvoer betekenen dat het in een agent-lus kan zitten of een downstreamsysteem kan voeden dat een vast schema verwacht, en de webzoekoptie laat een verzoek externe context ophalen.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "openai/gpt-4o-mini:batch". Omdat het oppervlak OpenAI-compatibel is, werken bestaande OpenAI-SDK's en clients met alleen een wijziging van base URL en sleutel. De verzoekparameters die het ondersteunt zijn frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p en web_search_options. Dat dekt samplingregelaars, deterministische runs via seed, beperkte decoding via response_format en structured_outputs, en toolgebruik via tools en tool_choice.

Twee dingen zijn het controleren waard voordat je je vastlegt. De kennisafsluiting is 31 oktober 2023, dus alles wat recenter is moet uit je prompt of uit web_search_options komen. De uitvoer is alleen tekst, dus als je gegenereerde afbeeldingen of audio nodig hebt, is dit model niet het juiste. En aangezien dit de batchvariant is, controleer of het latentieprofiel bij je toepassing past; als je interactieve reactietijden nodig hebt, vergelijk dan met de standaard niet-batchvermelding voor hetzelfde model.