OpenAI: GPT-3.5 Turbo

GPT-3.5 Turbo is een tekstmodel van OpenAI, geïdentificeerd op api14 als openai/gpt-3.5-turbo. OpenAI beschrijft het als zijn snelste model, en het werd door de provider uitgebracht op 2023-05-28. Het valt in de categorie tekst en is gebouwd om natuurlijke taal of code te begrijpen en te genereren, met optimalisatie voor chat en traditionele completion-taken. Als je een algemeen OpenAI-model kiest voor alledaags tekstwerk, is dit de al lang bestaande standaard waarop een groot deel van het ecosysteem is gebouwd.

Het model accepteert tekst als invoer en retourneert tekst als uitvoer, dus er is geen beeld-, audio- of bestandsverwerking om rekening mee te houden. Het contextvenster is 16.385 tokens, en de maximale uitvoer is 4.096 tokens, wat betekent dat lange invoer mogelijk is, maar het antwoord zelf ruim onder de contextgrootte blijft. De kennisafsluitdatum is 2021-09-30, dus alles na die datum moet uit de prompt komen in plaats van uit de trainingsgegevens van het model. Ondersteunde aanvraagparameters zijn onder meer temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, structured_outputs, tools en tool_choice.

Die mogelijkheden sluiten aan op een vrij breed scala aan praktische taken. Chatassistenten, opstellen en herschrijven, samenvatten van documenten die binnen het contextvenster passen, classificatie en extractie naar een vaste vorm, en codegeneratie of uitleg zijn allemaal redelijke toepassingen, omdat het model zowel natuurlijke taal als code aankan. Omdat tools en tool_choice worden ondersteund, kun je functionschema's definiëren en het model laten beslissen wanneer het ze aanroept, wat past bij agent-achtige workflows en retrieval-pipelines waarin het model gegevens moet opvragen. De parameter seed helpt wanneer je herhaalbare sampling wilt, en response_format plus structured_outputs zijn nuttig wanneer een downstream-parser een voorspelbare structuur verwacht in plaats van vrije tekst.

Het aanroepen via api14 werkt hetzelfde als bij elke andere OpenAI-compatibele endpoint. Stuur je aanvraag naar de chat completions-route met het model-id openai/gpt-3.5-turbo, en gebruik de hierboven genoemde parameters in de request body waar nodig. Als je al code hebt geschreven tegen de OpenAI SDK of een compatibele client, is het richten van de base URL op api14 en het verwisselen van het model-id normaal gesproken de enige wijziging die nodig is.

Twee beperkingen zijn het onthouden waard voordat je je vastlegt. De kennisafsluitdatum van 2021-09-30 betekent dat het model niets weet van recente gebeurtenissen, libraries of API's, tenzij je die context aanlevert, en het uitvoerplafond van 4.096 tokens beperkt hoeveel het in één antwoord kan produceren. Voor zeer grote invoer, zeer lange generaties of taken die afhankelijk zijn van recente kennis, kan een ander model op api14 beter voor je zijn.