OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct is een tekstmodel van OpenAI, uitgebracht op 28 september 2023. Het is een variant van GPT-3.5 Turbo die is afgestemd op instructieprompts, en het laat de chatgerelateerde optimalisaties weg die in de gespreksmodellen van OpenAI te vinden zijn. De trainingsdata loopt tot september 2021, de opgegeven knowledge cutoff.

Het model neemt tekst als invoer en geeft tekst als uitvoer terug, dus het past bij werk in de stijl van gewone completions in plaats van multimodale taken. Het heeft een contextlengte van 4095 tokens en een maximale uitvoer van 3685 tokens. Ondersteunde aanvraagparameters zijn onder andere temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format en structured_outputs.

Omdat het model op instructies is afgestemd in plaats van op chat geoptimaliseerd, past het van nature bij werk met een enkele prompt naar completion. Typische toepassingen zijn het opstellen en herschrijven van tekst, samenvatten, classificeren, extraheren naar een gedefinieerde structuur, en generatiepijplijnen waarin je een instructie stuurt en een antwoord verwerkt. Structured outputs en ondersteuning voor response_format zijn nuttig wanneer downstreamcode voorspelbare vormen nodig heeft, en logprobs met top_logprobs helpen wanneer je vertrouwen op tokenniveau wilt inspecteren. De parameter seed helpt wanneer je meer reproduceerbare sampling tussen runs wilt.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "openai/gpt-3.5-turbo-instruct". Aanvragen volgen het schema in de stijl van OpenAI chat completions, dus bestaande OpenAI SDKs en clients werken met alleen een wijziging van base URL en key. Stuur je instructie als de inhoud van het user-bericht en stel een van de hierboven genoemde ondersteunde parameters in. Let op dat, omdat dit model op instructies is afgestemd in plaats van op chat geoptimaliseerd, prompts die als een duidelijke enkele instructie zijn geschreven er meestal beter bij passen dan lange gesprekken met meerdere beurten.

De belangrijkste beperkingen om rekening mee te houden zijn de contextlengte van 4095 tokens en de knowledge cutoff van september 2021, dus alles waarvoor recente informatie nodig is, moet in de prompt zelf worden aangeleverd. Lange documenten, grote codebestanden of uitgebreide dialogen met meerdere beurten kunnen het venster overschrijden of hier minder natuurlijk werken. Als je een gesprek heen en weer nodig hebt, is een op chat geoptimaliseerd model meestal een betere match, en als je een veel grotere context nodig hebt, past een ander model in de catalogus beter.