OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct est un modèle de texte d'OpenAI, publié le 28 septembre 2023. C'est une variante de GPT-3.5 Turbo ajustée pour les invites instructionnelles, et elle omet les optimisations liées au chat présentes dans les modèles conversationnels d'OpenAI. Ses données d'entraînement vont jusqu'à septembre 2021, ce qui correspond à la limite de connaissances indiquée.

Le modèle prend du texte en entrée et renvoie du texte en sortie, il convient donc au travail de complétion simple plutôt qu'aux tâches multimodales. Il a une longueur de contexte de 4095 tokens et une sortie maximale de 3685 tokens. Les paramètres de requête pris en charge incluent temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format et structured_outputs.

Comme le modèle est ajusté pour les instructions plutôt qu'optimisé pour le chat, le cas d'usage naturel est le travail de complétion à partir d'une invite en un seul tour. Les utilisations typiques incluent la rédaction et la réécriture de texte, le résumé, la classification, l'extraction vers une structure définie, et les pipelines de génération où vous envoyez une instruction et consommez une réponse. Les sorties structurées et la prise en charge de response_format sont utiles lorsque le code en aval a besoin de formes prévisibles, et logprobs avec top_logprobs aident lorsque vous voulez inspecter la confiance au niveau des tokens. Le paramètre seed aide lorsque vous voulez un échantillonnage plus reproductible d'une exécution à l'autre.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "openai/gpt-3.5-turbo-instruct". Les requêtes suivent le schéma de style chat completions d'OpenAI, donc les SDK et clients OpenAI existants fonctionnent avec seulement un changement d'URL de base et de clé. Envoyez votre instruction comme contenu du message utilisateur et définissez l'un des paramètres pris en charge listés ci-dessus. Notez que, comme ce modèle est ajusté pour les instructions plutôt qu'optimisé pour le chat, les invites rédigées comme une instruction unique et claire lui conviennent généralement mieux que les longues conversations à plusieurs tours.

Les principales contraintes à anticiper sont la longueur de contexte de 4095 tokens et la limite de connaissances de septembre 2021, donc tout ce qui nécessite des informations récentes doit être fourni dans l'invite elle-même. Les documents longs, les gros fichiers de code ou les dialogues étendus à plusieurs tours peuvent dépasser la fenêtre ou fonctionner de manière moins naturelle ici. Si vous avez besoin d'un échange conversationnel, un modèle optimisé pour le chat conviendra généralement mieux, et si vous avez besoin d'un contexte beaucoup plus large, un autre modèle du catalogue sera plus adapté.