OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) est un modèle de génération de texte d'OpenAI, proposé ici dans sa variante batch. Il appartient à la famille GPT-4o et se positionne comme le petit modèle d'OpenAI, en dessous du GPT-4o complet. Le fournisseur l'a publié le 18 juillet 2024, et ses connaissances d'entraînement vont jusqu'au 31 octobre 2023. Si vous avez utilisé d'autres modèles OpenAI, le comportement et l'interface vous sembleront familiers.

Le modèle accepte du texte, des images et des fichiers en entrée, et il ne renvoie que du texte. Sa fenêtre de contexte est de 128 000 tokens, ce qui suffit pour contenir de longs documents, des conversations à plusieurs tours ou un mélange de prose et d'images dans une seule requête. La sortie est plafonnée à 16 384 tokens par réponse. Comme l'entrée d'images est prise en charge, vous pouvez envoyer des captures d'écran, des schémas ou des pages numérisées accompagnés d'un prompt textuel et demander une réponse écrite. L'entrée de fichiers étend cela aux documents que vous souhaitez résumer, dont vous voulez extraire des informations ou sur lesquels vous voulez poser des questions.

Ces capacités ouvrent sur un ensemble assez large d'usages pratiques. La réponse à des questions sur des documents, sur de longs PDF ou rapports, le résumé de réunions et de fils de discussion, l'extraction de champs structurés à partir de texte non structuré, la classification et l'étiquetage, ainsi que la rédaction ou la réécriture de contenu sont tous des cas d'usage raisonnables. L'entrée d'images le rend utilisable pour des tâches comme lire des graphiques, transcrire du texte visible ou décrire le contenu d'une capture d'écran. L'appel d'outils et les sorties structurées signifient qu'il peut s'intégrer dans une boucle d'agent ou alimenter un système en aval qui attend un schéma fixe, et l'option de recherche web permet à une requête d'aller chercher du contexte externe.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "openai/gpt-4o-mini:batch". Comme la surface est compatible OpenAI, les SDK et clients OpenAI existants fonctionnent avec un simple changement d'URL de base et de clé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p et web_search_options. Cela couvre les contrôles d'échantillonnage, les exécutions déterministes via seed, le décodage contraint via response_format et structured_outputs, et l'utilisation d'outils via tools et tool_choice.

Deux points méritent d'être vérifiés avant de vous engager. La date limite de connaissances est le 31 octobre 2023, donc tout ce qui est plus récent doit provenir de votre prompt ou de web_search_options. La sortie est uniquement textuelle, donc si vous avez besoin d'images ou d'audio générés, ce modèle n'est pas le bon. Et comme il s'agit de la variante batch, vérifiez que son profil de latence correspond à votre application ; si vous avez besoin de temps de réponse interactifs, comparez avec l'entrée standard non batch du même modèle.