OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) は OpenAI のテキスト生成モデルで、ここではその batch バリアントとして提供されています。GPT-4o ファミリーに属し、OpenAI の小型モデルとして位置づけられ、フルの GPT-4o の下に位置します。プロバイダーは 2024 年 7 月 18 日にこれをリリースし、その学習知識は 2023 年 10 月 31 日までです。他の OpenAI モデルを使用したことがあれば、動作とインターフェースは馴染みのあるものに感じられるでしょう。

このモデルは入力としてテキスト、画像、ファイルを受け付け、返すのはテキストのみです。コンテキストウィンドウは 128,000 トークンで、長いドキュメント、マルチターンの会話、または散文と画像の混在を 1 つのリクエストに収めるのに十分です。出力はレスポンスあたり 16,384 トークンに制限されています。画像入力がサポートされているため、スクリーンショット、図、スキャンしたページをテキストプロンプトと一緒に送信し、文章での回答を求めることができます。ファイル入力はこれを拡張し、要約、抽出、または質問の対象にしたいドキュメントを扱えます。

これらの機能は、かなり幅広い実用的用途を示しています。長い PDF やレポートに対するドキュメント質問応答、会議やスレッドの要約、非構造化テキストからの構造化フィールドの抽出、分類とタグ付け、コンテンツの起草や書き換えは、いずれも妥当な適合先です。画像入力により、チャートを読む、見えるテキストを文字起こしする、スクリーンショットの内容を説明するといったタスクにも使用できます。ツール呼び出しと構造化出力により、エージェントループ内に置いたり、固定スキーマを期待する下流システムに供給したりでき、web search オプションによりリクエストで外部コンテキストを取り込めます。

これは、モデル id "openai/gpt-4o-mini:batch" を使用して api14 の OpenAI 互換 API を通じて呼び出します。表面が OpenAI 互換であるため、既存の OpenAI SDK とクライアントはベース URL とキーの変更だけで動作します。サポートされるリクエストパラメータは frequency_penalty、logit_bias、logprobs、max_tokens、prediction、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_logprobs、top_p、web_search_options です。これにはサンプリング制御、seed による決定論的実行、response_format と structured_outputs による制約付きデコーディング、tools と tool_choice によるツール使用が含まれます。

コミットする前に確認すべき点が 2 つあります。知識カットオフは 2023 年 10 月 31 日であるため、それより新しいものはプロンプトまたは web_search_options から取得する必要があります。出力はテキストのみであるため、生成画像や音声が必要な場合、このモデルは適切ではありません。また、これは batch バリアントであるため、そのレイテンシプロファイルがアプリケーションに合うことを確認してください。インタラクティブな応答時間が必要な場合は、同じモデルの標準の非 batch エントリと比較してください。