OpenAI: GPT-4o-mini (2024-07-18)

GPT-4o-mini (2024-07-18) is een tekstgeneratiemodel van OpenAI, uitgebracht op 18 juli 2024. Het zit in de kleine modellenlijn van OpenAI, door de provider gepositioneerd als zijn meest geavanceerde kleine model en de opvolger van GPT-4 Omni in dat segment. De versioned model id pint de snapshot vast op 2024-07-18, zodat het gedrag consistent blijft tussen calls in plaats van te verschuiven met een floating alias.

Het model accepteert tekst, afbeeldingen en bestanden als invoer en retourneert alleen tekst. Het heeft een contextvenster van 128.000 tokens en kan tot 16.384 uitvoertokens produceren in een enkele respons. De knowledge cutoff is 31 oktober 2023, dus alles na die datum moet uit de prompt komen, uit bestanden die je aanlevert, of uit een zoektool. Omdat afbeeldingsinvoer wordt ondersteund, kun je screenshots, gescande pagina's of diagrammen samen met tekstinstructies doorgeven en een tekstantwoord terugkrijgen.

Die mogelijkheden passen bij een reeks alledaagse ontwikkelingstaken. Document- en bestandsinvoer werkt goed voor samenvatten, extraheren en vraagbeantwoording over contracten, rapporten of PDF's, terwijl afbeeldingsinvoer het lezen van grafieken, bonnetjes, UI-screenshots en gefotografeerde tekst dekt. De 128k context laat je lange transcripties, codebases of bundels van meerdere documenten versturen zonder ze eerst op te splitsen. Tool calling en structured outputs maken het een redelijke keuze voor agents, functierouting en pipelines die JSON volgens een schema nodig hebben, en de parameters seed, temperature en penalty geven je controle over hoe deterministisch of gevarieerd de uitvoer is.

Je roept het aan via de OpenAI-compatibele API van api14 met de model id "openai/gpt-4o-mini-2024-07-18". Omdat de interface de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDK's en clients met een wijziging van de base URL. De requestparameters die het ondersteunt zijn frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p en web_search_options. Dat dekt sampling-instellingen, tokenlimieten, stopsequenties, inspectie van log probabilities, JSON en door schema beperkte uitvoer, tooldefinities en geforceerde toolselectie, en webzoekopties.

Twee beperkingen zijn het vermelden waard voordat je je vastlegt. De uitvoer is alleen tekst, dus als je gegenereerde afbeeldingen, audio of embeddings nodig hebt, is dit model niet geschikt. De knowledge cutoff van 31 oktober 2023 betekent dat tijdgevoelige vragen retrieval, bestandsinvoer of webzoekopties nodig hebben in plaats van te vertrouwen op de eigen kennis van het model. En het uitvoerplafond van 16.384 tokens begrenst hoe lang een enkele respons kan zijn, wat van belang is voor langere generatietaken.