OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) is een tekstgeneratiemodel van OpenAI, aangeboden op api14 onder het model-id openai/gpt-4-turbo:batch. Het is de batchvariant van OpenAI's GPT-4 Turbo-lijn, de versie die vision-mogelijkheden toevoegde. api14 routeert verzoeken erheen via dezelfde OpenAI-compatibele interface die je voor andere modellen op het platform gebruikt, dus er is geen aparte SDK of integratiewerk nodig.

Het model accepteert tekst- en afbeeldingsinvoer en produceert tekstuitvoer, wat betekent dat je prompts en afbeeldingen in één verzoek kunt combineren waar dat helpt. Het ondersteunt een contextvenster van 128.000 tokens, en antwoorden kunnen oplopen tot 4.096 tokens. De trainingsdata lopen tot december 2023. Vision-verzoeken werken naast JSON-modus en function calling, dus gestructureerde uitvoer en toolgebruik zijn niet beperkt tot tekst-only aanroepen.

Die mogelijkheden wijzen op een paar praktische patronen. Lange documenten, codebases of transcripties passen comfortabel in het venster van 128.000 tokens, dus samenvatten, extraheren en vraagbeantwoording over grote invoeren zijn haalbaar zonder zwaar te chunkeren. Omdat afbeeldingen als invoer worden geaccepteerd, vallen screenshot-analyse, diagraminterpretatie en documentparsing van gescande pagina's ook binnen het bereik. Function calling en gestructureerde uitvoer maken het een redelijke fit voor agents, tool-using workflows en pipelines die machineleesbare antwoorden nodig hebben, terwijl JSON-modus de downstream-parsing voorspelbaar houdt.

Om het aan te roepen op api14, stuur je een verzoek naar het chat completions-endpoint met het model-veld ingesteld op openai/gpt-4-turbo:batch, precies zoals je zou doen met OpenAI's eigen API. Het model ondersteunt frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs en top_p. Dat dekt sampling-instellingen, determinisme via seed, tokenlimieten, stopsequenties, gestructureerde uitvoerformaten en tooldefinities, dus de meeste standaard OpenAI-achtige request bodies werken zonder wijzigingen.

Twee beperkingen zijn het vermelden waard voordat je je vastlegt. De uitvoer is beperkt tot 4.096 tokens per antwoord, dus taken die zeer lange enkele completions vereisen, moeten mogelijk over meerdere aanroepen worden gesplitst, en de kennisafsluitdatum van december 2023 betekent dat het model niets weet van alles na die datum, tenzij je het in de prompt aanlevert. Als je workload nieuwere kennis, grotere uitvoerbudgetten of een ander kostenprofiel nodig heeft, bekijk dan de andere modellen die beschikbaar zijn op api14 voordat je hiervoor kiest.