OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k est un modèle de texte d'OpenAI, publié par le fournisseur le 28 août 2023. Il appartient à la famille GPT-3.5 et constitue la variante à contexte long du GPT-3.5 Turbo standard, offrant environ quatre fois la longueur de contexte de ce modèle. C'est un modèle de langage à usage général plutôt qu'un modèle spécialisé, et il est destiné aux développeurs qui ont besoin de plus d'espace dans une seule requête que ce que fournit le GPT-3.5 Turbo de base.

Le modèle accepte du texte en entrée et renvoie du texte en sortie. Sa fenêtre de contexte est de 16 385 tokens, et la sortie maximale est de 4 096 tokens. La date limite de connaissances est le 30 septembre 2021, donc tout ce qui est postérieur à cette date est en dehors de ses données d'entraînement. Le contexte plus large est le principal élément différenciateur ici : OpenAI le décrit comme prenant en charge environ 20 pages de texte dans une seule requête, ce qui le rend adapté aux prompts qui transportent beaucoup de matériel source plutôt qu'une instruction courte.

Cette capacité façonne les cas d'usage pratiques. Résumer de longs documents, répondre à des questions sur un corpus collé, extraire des champs structurés à partir de rapports volumineux, et les conversations multi tours qui doivent retenir une grande quantité de dialogue antérieur rentrent tous dans la fenêtre de 16 385 tokens. Parce que le modèle prend en charge les outils et les sorties structurées, il peut aussi être utilisé pour des workflows de type appel de fonctions où le modèle sélectionne un outil et renvoie des arguments, et pour des réponses qui doivent se conformer à un schéma JSON via response_format. Logprobs et top_logprobs sont disponibles, ce qui aide lorsque vous devez inspecter la confiance au niveau des tokens du modèle plutôt que seulement le texte final.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "openai/gpt-3.5-turbo-16k". Comme le point de terminaison suit la forme des chat completions d'OpenAI, les SDK et clients OpenAI existants fonctionnent avec seulement un changement d'URL de base et de clé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs et top_p. Seed est utile lorsque vous voulez un échantillonnage reproductible, et les séquences stop vous permettent de borner la génération.

Deux contraintes méritent d'être pesées avant de vous engager. La date limite de connaissances de septembre 2021 signifie que le modèle n'a aucune conscience des événements, bibliothèques ou API postérieurs, sauf si vous fournissez ce contexte vous-même, et le plafond de sortie de 4 096 tokens limite ce qu'il peut produire en une seule réponse même si la fenêtre d'entrée est grande. Si votre tâche nécessite des connaissances plus récentes, une sortie plus longue, ou une entrée d'images, ce modèle ne le couvre pas, et un modèle différent sur api14 serait le meilleur choix.