OpenAI: GPT-4

GPT-4 is een tekstmodel van OpenAI, vermeld op api14 onder het model-id openai/gpt-4. Het valt in de categorie tekst en wordt door de provider beschreven als OpenAI's grootschalige taalmodel, gebouwd om moeilijke problemen met grotere nauwkeurigheid dan eerdere modellen op te lossen via bredere algemene kennis en geavanceerd redeneren. De releasedatum van de provider is 2023-05-28, en de knowledge cutoff van het model is 2021-09-30.

Op api14 accepteert het model tekstinvoer en retourneert het tekstuitvoer. Het heeft een contextlengte van 8191 tokens en een maximale uitvoer van 4096 tokens. Ondersteunde aanvraagparameters zijn onder andere temperature, top_p, frequency_penalty, presence_penalty, stop, seed, logit_bias, logprobs, top_logprobs, max_tokens, max_completion_tokens, response_format, structured_outputs, tools en tool_choice. Die combinatie dekt sampling-besturing, deterministisch-achtig gedrag via seed, inspectie op tokenniveau via logprobs, en function calling via de tools-parameters.

De praktische toepassingen volgen uit die mogelijkheden. Algemeen redeneren en kennisintensief vraagbeantwoorden passen bij de opgegeven sterke punten van het model. Langere prompts zijn werkbaar binnen de context van 8191 tokens, dus het samenvatten van documenten, het opstellen van meerdere alinea's, extractie en herschrijftaken zijn redelijk, zolang de invoer plus de gevraagde uitvoer binnen het venster blijven. Omdat tools en tool_choice worden ondersteund, kan het model worden gebruikt als de redeneerstap in een agent of workflow die externe functies aanroept. Structured outputs en response_format helpen wanneer je machineleesbare resultaten nodig hebt in plaats van vrije tekst, en logprobs of top_logprobs zijn nuttig wanneer je wilt inspecteren hoe zeker het model was bij elke token, bijvoorbeeld in classificatie- of evaluatiepijplijnen.

Het aanroepen via api14 werkt hetzelfde als bij elk ander OpenAI-compatibel endpoint. Stuur een chat completions-aanvraag naar de gateway met het model-veld ingesteld op openai/gpt-4, en geef je gekozen parameters mee in de request body. Omdat de API OpenAI-compatibel is, kunnen bestaande OpenAI-clientbibliotheken en code meestal op api14 worden gericht door de base URL en API-sleutel te wijzigen, zonder andere wijzigingen aan de vorm van de aanvraag. Je kunt temperature en top_p instellen voor sampling, max_tokens of max_completion_tokens om de respons te begrenzen, stop-sequenties om de generatie vroegtijdig te beëindigen, en seed wanneer je meer herhaalbare uitvoer wilt. Voor toolgebruik geef je tools en optioneel tool_choice mee; voor gestructureerde resultaten gebruik je response_format of structured_outputs.

Een paar beperkingen zijn het onthouden waard. Het contextvenster van 8191 tokens is bescheiden naar huidige maatstaven, dus zeer lange documenten of lange gesprekken met meerdere beurten kunnen opsplitsen of inkorten nodig hebben. De knowledge cutoff van 2021-09-30 betekent dat het model geen weet heeft van gebeurtenissen na die datum, dus alles wat tijdsgevoelig is, moet in de prompt worden meegegeven of via tools worden opgehaald. Invoer is alleen tekst, dus afbeeldingen en audio vallen hier buiten bereik. Als je taak afhangt van een veel grotere context, recentere kennis of niet-tekstuele invoer, is een ander model op api14 waarschijnlijk een betere keuze.