OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) est un modèle de génération de texte d'OpenAI, proposé sur api14 sous l'identifiant de modèle openai/gpt-4-turbo:batch. Il s'agit de la variante batch de la gamme GPT-4 Turbo d'OpenAI, la version qui a ajouté les capacités de vision. api14 achemine les requêtes vers ce modèle via la même interface compatible OpenAI que vous utilisez pour les autres modèles de la plateforme, donc aucun SDK ni travail d'intégration distinct n'est nécessaire.

Le modèle accepte en entrée du texte et des images et produit du texte en sortie, ce qui signifie que vous pouvez mélanger des prompts et des images dans une même requête lorsque cela est utile. Il prend en charge une fenêtre de contexte de 128 000 tokens, et les réponses peuvent aller jusqu'à 4 096 tokens. Ses données d'entraînement vont jusqu'à décembre 2023. Les requêtes de vision fonctionnent aux côtés du mode JSON et de l'appel de fonctions, donc la sortie structurée et l'utilisation d'outils ne sont pas limitées aux appels texte uniquement.

Ces capacités renvoient à quelques schémas pratiques. Les documents longs, les bases de code ou les transcriptions tiennent confortablement dans la fenêtre de 128 000 tokens, donc la summarisation, l'extraction et la réponse à des questions sur de grandes entrées sont viables sans découpage lourd. Comme les images sont acceptées en entrée, l'analyse de captures d'écran, l'interprétation de diagrammes et l'analyse de documents à partir de pages scannées sont également couvertes. L'appel de fonctions et les sorties structurées en font un choix raisonnable pour les agents, les workflows utilisant des outils et les pipelines qui nécessitent des réponses lisibles par machine, tandis que le mode JSON rend l'analyse en aval prévisible.

Pour l'appeler sur api14, envoyez une requête au point de terminaison chat completions avec le champ model défini sur openai/gpt-4-turbo:batch, exactement comme vous le feriez avec l'API d'OpenAI. Le modèle prend en charge frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs et top_p. Cela couvre les contrôles d'échantillonnage, le déterminisme via seed, les limites de tokens, les séquences d'arrêt, les formats de sortie structurée et les définitions d'outils, donc la plupart des corps de requête standard de style OpenAI fonctionnent sans modification.

Deux contraintes méritent d'être notées avant de vous engager. La sortie est plafonnée à 4 096 tokens par réponse, donc les tâches qui exigent des complétions uniques très longues peuvent devoir être réparties sur plusieurs appels, et la date limite de connaissances de décembre 2023 signifie que le modèle n'a aucune conscience de ce qui s'est passé après cette date, sauf si vous le fournissez dans le prompt. Si votre charge de travail nécessite des connaissances plus récentes, des budgets de sortie plus importants ou un profil de coût différent, consultez les autres modèles disponibles sur api14 avant de vous fixer sur celui-ci.