OpenAI: GPT-4o (batch)

OpenAI : GPT-4o (batch) est un modèle de génération de texte d'OpenAI, proposé ici sous l'identifiant de modèle openai/gpt-4o:batch. Il appartient à la famille GPT-4o, où le "o" signifie "omni", et OpenAI le décrit comme prenant en charge à la fois les entrées texte et image avec des sorties texte. La variante batch est le même modèle sous-jacent servi via un flux de travail par lots plutôt qu'interactif, ce qui la rend adaptée aux travaux qui n'ont pas besoin d'une réponse immédiate.

Concernant les capacités, le modèle accepte le texte, les images et les fichiers en entrée et ne renvoie que du texte. Il dispose d'une fenêtre de contexte de 128 000 tokens et peut produire jusqu'à 16 384 tokens en une seule réponse. Sa date de coupure des connaissances est le 31 octobre 2023, donc tout ce qui est postérieur à cette date doit provenir du prompt ou d'un outil plutôt que de l'entraînement propre du modèle. Les paramètres de requête pris en charge incluent temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs et top_logprobs, ainsi que response_format, structured_outputs, tools, tool_choice, prediction et web_search_options.

Ces capacités ouvrent sur un ensemble assez large d'usages pratiques. Comme les images et les fichiers peuvent être transmis avec le texte, le modèle convient à la revue de documents, à l'extraction à partir de matériel scanné ou PDF, et à la synthèse de longs rapports qui dépasseraient autrement une fenêtre de contexte plus petite. La fenêtre de 128 000 tokens le rend également raisonnable pour analyser de grandes bases de code, de longues transcriptions ou des ensembles multi-documents en une seule requête. L'appel d'outils et les sorties structurées en font un candidat pour les pipelines où le modèle doit renvoyer du JSON lisible par machine ou invoquer des fonctions externes, et la voie batch convient aux tâches hors ligne telles que la classification en masse, l'étiquetage de contenu ou la génération de résumés sur un large corpus.

L'appeler via api14 fonctionne de la même manière que n'importe quel autre point de terminaison compatible OpenAI. Vous envoyez une requête à la route chat completions avec le champ model défini sur openai/gpt-4o:batch, et vous pouvez transmettre n'importe lequel des paramètres listés ci-dessus dans le corps de la requête. Comme le point de terminaison suit le schéma OpenAI, les bibliothèques clientes et SDK OpenAI existants fonctionnent généralement sans modification, et passer d'un modèle à un autre est généralement une question de changement de l'identifiant de modèle.

Une chose à garder à l'esprit est la date de coupure des connaissances du 31 octobre 2023, ce qui signifie que les questions sur des événements ultérieurs nécessitent un ancrage via le prompt ou via web_search_options. La sortie est uniquement du texte, donc la génération d'images est hors de portée. Si votre charge de travail nécessite une réponse synchrone à faible latence plutôt qu'un traitement par lots, une variante GPT-4o non batch serait le choix le plus naturel.