OpenAI: GPT-4o-mini

GPT-4o-mini is een tekstgeneratiemodel van OpenAI, uitgebracht op 18 juli 2024. Het zit in de kleine modellenlijn van OpenAI, gepositioneerd als de opvolger van GPT-4o in dat segment, en het is gebouwd voor algemeen tekstwerk in plaats van een enkele nauwe taak. Als je een standaardmodel voor een applicatie kiest, is dit het soort model dat bedoeld is om een breed scala aan alledaagse verzoeken te verwerken.

Het model accepteert tekst, afbeeldingen en bestanden als invoer, en het retourneert alleen tekst. Het contextvenster is 128.000 tokens, en de maximale uitvoer is 16.384 tokens. De kennisafsluitdatum is 31 oktober 2023, dus alles na die datum valt buiten wat het model tijdens training heeft geleerd. Omdat afbeeldings- en bestandsinvoer naast tekst wordt ondersteund, kun je gemengde inhoud in één verzoek sturen en een tekstantwoord ontvangen, wat de integratie eenvoudig houdt als je applicatie al met tekstprompts werkt.

Die mogelijkheden wijzen op een paar praktische toepassingen. Document- en bestandsanalyse is een natuurlijke fit, omdat je een bestand kunt doorgeven en kunt vragen om een samenvatting, extractie of vraagbeantwoording over de inhoud. Beeldbegrip dekt taken zoals het beschrijven van een screenshot, het lezen van een grafiek of het halen van gestructureerde details uit een foto. Algemene chat, opstellen, classificatie, herschrijven en codehulp werken allemaal met alleen tekst. Het grote contextvenster betekent dat lange documenten of gesprekken met meerdere beurten kunnen worden verwerkt zonder ze op te splitsen in veel kleine verzoeken, en het uitvoerplafond van 16.384 tokens geeft ruimte voor langere gegenereerde antwoorden.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "openai/gpt-4o-mini". Omdat de interface het OpenAI-formaat volgt, werken bestaande OpenAI SDK's en clients met alleen een wijziging van de base URL en sleutel. Het model ondersteunt een brede set verzoekparameters: frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p en web_search_options. Tool calling en structured outputs zijn beschikbaar, dus je kunt het model aansluiten op function calling-flows of antwoorden in een schema dwingen. De seed-parameter helpt bij reproduceerbaarheid, en web_search_options laat een verzoek putten uit zoeken.

Twee beperkingen zijn het vermelden waard voordat je je vastlegt. De kennisafsluitdatum van 31 oktober 2023 betekent dat het model geen ingebouwde kennis heeft van latere gebeurtenissen, dus tijdsgevoelige vragen hebben retrieval of zoeken nodig in plaats van alleen op het model te vertrouwen. Uitvoer is alleen tekst, dus als je gegenereerde afbeeldingen of audio nodig hebt, is dit model niet de juiste keuze. Binnen die grenzen is het een redelijke standaard voor tekst- en beeldbegripstaken.