OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k is een tekstmodel van OpenAI, door de provider uitgebracht op 28 augustus 2023. Het behoort tot de GPT-3.5-familie en is de langere-contextvariant van de standaard GPT-3.5 Turbo, met ongeveer vier keer de contextlengte van dat model. Het is een algemeen taalmodel en geen gespecialiseerd model, bedoeld voor ontwikkelaars die in één verzoek meer ruimte nodig hebben dan de basis GPT-3.5 Turbo biedt.

Het model accepteert tekst als invoer en retourneert tekst als uitvoer. Het contextvenster is 16.385 tokens en de maximale uitvoer is 4.096 tokens. De kennisafsluitdatum is 30 september 2021, dus alles na die datum valt buiten de trainingsdata. De grotere context is hier het belangrijkste onderscheidende kenmerk: OpenAI beschrijft het als ondersteuning voor ongeveer 20 pagina's tekst in één verzoek, wat het geschikt maakt voor prompts met veel bronmateriaal in plaats van een korte instructie.

Die capaciteit bepaalt de praktische gebruiksscenario's. Het samenvatten van lange documenten, het beantwoorden van vragen over een geplakte corpus, het extraheren van gestructureerde velden uit lange rapporten en meerbeurtengesprekken waarin een grote hoeveelheid eerdere dialoog behouden moet blijven, passen allemaal binnen het venster van 16.385 tokens. Omdat het model tools en gestructureerde uitvoer ondersteunt, kan het ook worden gebruikt voor workflows in de stijl van function calling, waarbij het model een tool selecteert en argumenten retourneert, en voor antwoorden die via response_format aan een JSON-schema moeten voldoen. Logprobs en top_logprobs zijn beschikbaar, wat helpt wanneer u het vertrouwen op tokenniveau van het model wilt inspecteren in plaats van alleen de uiteindelijke tekst.

U roept het aan via de OpenAI-compatibele API van api14 met het model-id "openai/gpt-3.5-turbo-16k". Omdat het endpoint de vorm van OpenAI chat completions volgt, werken bestaande OpenAI SDK's en clients met alleen een gewijzigde base URL en sleutel. De ondersteunde aanvraagparameters zijn frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs en top_p. Seed is nuttig wanneer u herhaalbare sampling wilt, en stop-reeksen laten u de generatie begrenzen.

Twee beperkingen zijn het overwegen waard voordat u zich vastlegt. De kennisafsluitdatum van september 2021 betekent dat het model geen weet heeft van latere gebeurtenissen, libraries of API's, tenzij u die context zelf aanlevert, en het uitvoerplafond van 4.096 tokens beperkt hoeveel het in één antwoord kan produceren, ook al is het invoervenster groot. Als uw taak recentere kennis, een langere uitvoer of beeldinvoer vereist, dekt dit model dat niet, en zou een ander model op api14 beter passen.