OpenAI: GPT-3.5 Turbo (older v0613)

GPT-3.5 Turbo (oudere v0613) is een tekstmodel van OpenAI, gedistribueerd onder het model-id openai/gpt-3.5-turbo-0613. Het behoort tot de GPT-3.5 Turbo-familie, die OpenAI beschrijft als zijn snelste modellijn, en deze specifieke versie is een oudere snapshot die beschikbaar blijft voor workloads die afhankelijk zijn van het specifieke gedrag ervan. De trainingsdata loopt tot september 2021, dus het heeft geen kennis van gebeurtenissen na dat punt, tenzij je de informatie zelf in de prompt aanlevert.

Het model accepteert tekst als invoer en retourneert tekst als uitvoer, waardoor het een algemeen taalmodel is voor chat- en traditionele completion-taken. Het kan natuurlijke taal begrijpen en genereren, evenals code. Het contextvenster is 4.095 tokens en de maximale uitvoer is 3.685 tokens, dus zowel de prompt als het antwoord delen een vrij krap budget vergeleken met grotere moderne modellen. Er is hier geen afbeelding-, audio- of bestandsinvoer; alles wat je verstuurt moet tekst zijn.

Omdat het zowel proza als code verwerkt, past het model bij een reeks alledaagse taken: chatassistenten en conversationele interfaces, het opstellen en herschrijven van tekst, het samenvatten van korte documenten, classificatie en extractie over kleine invoeren, en lichtgewicht codegeneratie of -uitleg. De ondersteuning voor tools en gestructureerde uitvoer maakt het ook bruikbaar voor eenvoudige function calling en voor het produceren van antwoorden in een gedefinieerd formaat, wat helpt wanneer je machineleesbare uitvoer nodig hebt in plaats van vrije tekst. Het venster van 4.095 tokens betekent dat het geschikt is voor prompts en antwoorden die comfortabel binnen een paar pagina's tekst passen, niet voor analyse van lange documenten.

Je roept het aan via de OpenAI-compatibele API van api14 door het model-id openai/gpt-3.5-turbo-0613 in je verzoek mee te geven, zodat bestaande OpenAI SDK's en clientbibliotheken werken met alleen een wijziging van de base URL en sleutel. De ondersteunde verzoekparameters zijn frequency_penalty, logit_bias, logprobs, max_completion_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs en top_p. Dat dekt sampling-instellingen, determinisme via seed, inspectie op tokenniveau via logprobs en top_logprobs, en tool- of schemagestuurde uitvoer via tools, tool_choice, response_format en structured_outputs.

De belangrijkste beperking om rekening mee te houden is de contextlengte. Bij 4.095 tokens met een uitvoerplafond van 3.685 tokens zullen lange gesprekken, grote codebases of prompts met meerdere documenten opgesplitst, opgehaald of ingekort moeten worden, en de kennisafsluiting van september 2021 betekent dat recente informatie uit je eigen context moet komen. Als je taak een veel groter venster, nieuwere kennis of multimodale invoer vereist, zal een ander model op api14 waarschijnlijk beter passen. Voor korte, hoogvolume tekst- en codetaken waarbij snelheid belangrijk is, blijft dit model een redelijke keuze.