OpenAI: o1

OpenAI o1 is een tekstgericht model van OpenAI, uitgebracht op 17 december 2024. Het behoort tot de o1-familie, die OpenAI beschrijft als zijn nieuwste en sterkste modelfamilie. Het bepalende idee achter de serie is dat het model meer tijd besteedt aan nadenken voordat het antwoordt, en het is getraind met grootschalige reinforcement learning om te redeneren. Als je eerdere OpenAI-chatmodellen hebt gebruikt, is het praktische verschil dat o1 is gebouwd om een probleem intern door te werken in plaats van onmiddellijk te antwoorden.

Aan de invoerkant accepteert o1 tekst, afbeeldingen en bestanden, en het retourneert tekst. Het contextvenster is 200.000 tokens, met een maximale uitvoer van 100.000 tokens, dus lange documenten en grote prompts passen comfortabel naast een substantieel gegenereerd antwoord. De kennisafsluitdatum is 31 oktober 2023, wat van belang is wanneer je taak afhangt van gebeurtenissen of bibliotheekversies na die datum. Ondersteunde aanvraagparameters zijn max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning en include_reasoning. De parameters reasoning en include_reasoning zijn specifiek voor deze familie en laten je de interne redenering van het model beheren of zichtbaar maken in plaats van die als een black box te behandelen.

Die mogelijkheden wijzen op een vrij specifieke set use cases. De grote context en bestandsinvoer passen bij analyse van lange documenten, contracten, onderzoekspapers of codebases waarbij het antwoord afhangt van details die over vele pagina's verspreid zijn. Afbeeldingsinvoer breidt dit uit naar diagrammen, screenshots en gescand materiaal die samen met tekst geïnterpreteerd moeten worden. Omdat het model is getraind om te redeneren, past het bij problemen met meerdere stappen: debuggen, wiskundig werk, planning en taken waarbij een verkeerde eerste gok duur is. Ondersteuning voor tools en gestructureerde uitvoer maken het bruikbaar in pipelines waarin het model functies moet aanroepen of JSON moet retourneren die downstream-code kan parsen.

Je roept o1 aan via de OpenAI-compatibele API van api14 met het model-id "openai/o1". Omdat de interface de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDK-clients over het algemeen nadat je de base URL naar api14 hebt gericht en dat model-id hebt ingewisseld. De hierboven genoemde aanvraagparameters zijn de parameters waarop je kunt vertrouwen: max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning en include_reasoning. Als je deterministische sampling nodig hebt voor tests, is seed beschikbaar; als je machineleesbare uitvoer nodig hebt, dekken structured_outputs en response_format dat.

Een beperking die het vermelden waard is, is de kennisafsluitdatum van 31 oktober 2023, dus alles waarvoor actuele informatie nodig is, moet uit je prompt, geüploade bestanden of een tool-aanroep komen in plaats van uit de eigen kennis van het model. Uitvoer is alleen tekst, dus beeldgeneratie valt buiten bereik. Als je workload eenvoudige, latentiegevoelige chat is die niet profiteert van uitgebreid redeneren, kan een lichter model beter passen.