OpenAI: GPT-4 Turbo

GPT-4 Turbo is een tekstgeneratiemodel van OpenAI, vermeld op api14 onder het model-id openai/gpt-4-turbo. Het is de nieuwste GPT-4 Turbo-variant en voegt vision-mogelijkheden toe aan de GPT-4 Turbo-lijn. OpenAI beschrijft het als ondersteuning voor vision-verzoeken naast JSON-modus en function calling, en de trainingsdata loopt tot december 2023.

Het model accepteert tekst en afbeeldingen als invoer en retourneert tekst. Het heeft een contextvenster van 128.000 tokens, waardoor lange documenten, uitgebreide gesprekken en meerdere afbeeldingen in één verzoek kunnen worden verwerkt. De maximale uitvoer is 4.096 tokens, dus antwoorden zijn begrensd, zelfs wanneer de invoer groot is. De kennisafsluitdatum is 2023-12-31, wat betekent dat het geen weet heeft van gebeurtenissen na die datum, tenzij u de informatie in de prompt opneemt.

Omdat het zowel afbeeldingen als tekst leest, is het model geschikt voor taken zoals het beschrijven of extraheren van informatie uit screenshots, diagrammen, grafieken en gescande documenten, het beantwoorden van vragen over een geüploade afbeelding, of het combineren van visuele context met een schriftelijke instructie. Het grote contextvenster maakt het redelijk geschikt voor het samenvatten van lange rapporten, het beoordelen van omvangrijke codebestanden of contracten, en het onderhouden van lange gesprekken met meerdere beurten. Tool calling en gestructureerde uitvoer stellen u in staat workflows te bouwen waarin het model functies selecteert of gegevens retourneert in een gedefinieerde vorm, wat nuttig is voor agents, extractiepijplijnen en integraties die machineleesbare resultaten nodig hebben.

U roept het aan via de OpenAI-compatibele API van api14 met het model-id openai/gpt-4-turbo, zodat bestaande OpenAI SDK's en clients werken met alleen een wijziging van de base URL en sleutel. De ondersteunde verzoekparameters zijn frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs en top_p. Dat omvat sampling-instellingen, deterministisch-achtig gedrag via seed, tokenlimieten, stopsequenties, waarschijnlijkheidsinspectie via logprobs en top_logprobs, gestructureerde uitvoeropmaak, en function- of tool calling met tool_choice.

Twee beperkingen zijn het vermelden waard bij het kiezen van dit model. De uitvoer is beperkt tot 4.096 tokens, dus taken die zeer lange enkele antwoorden vereisen, kunnen opsplitsing of een model met een hogere uitvoerlimiet nodig hebben. De kennisafsluitdatum van 2023-12-31 betekent dat vragen over nieuwere gebeurtenissen afhangen van de context die u verstrekt. Als uw workload alleen tekst is en geen baat heeft bij afbeeldingsinvoer, kan een tekstgericht model eenvoudiger passen, maar voor gemengde tekst- en afbeeldingsverzoeken binnen een context van 128.000 tokens dekt dit model de gangbare gevallen.