OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) は OpenAI のテキスト生成モデルで、ここではモデル id openai/gpt-4o:batch として提供されています。これは GPT-4o ファミリーに属し、「o」は「omni」を意味し、OpenAI はテキストと画像の両方の入力に対応し、テキストを出力すると説明しています。batch バリアントは同じ基盤モデルを、対話型ではなくバッチワークフロー経由で提供するもので、即時の回答を必要としない作業に適しています。

機能面では、このモデルは入力としてテキスト、画像、ファイルを受け付け、出力はテキストのみです。コンテキストウィンドウは 128,000 トークンで、1 回の応答で最大 16,384 トークンを生成できます。知識カットオフは 2023 年 10 月 31 日であるため、それ以降の内容はモデル自身のトレーニングではなく、プロンプトまたはツールから取得する必要があります。サポートされるリクエストパラメータには temperature、top_p、max_tokens、stop、seed、frequency_penalty、presence_penalty、logit_bias、logprobs、top_logprobs のほか、response_format、structured_outputs、tools、tool_choice、prediction、web_search_options があります。

これらの機能は、かなり幅広い実用的用途を示しています。テキストと一緒に画像やファイルを渡せるため、このモデルは文書レビュー、スキャン資料や PDF 資料からの抽出、小さいコンテキストウィンドウでは収まらないような長いレポートの要約に適しています。128,000 トークンのウィンドウは、大規模なコードベース、長い文字起こし、複数文書のセットを 1 回のリクエストで分析するのにも合理的です。ツール呼び出しと構造化出力により、モデルが機械可読な JSON を返したり外部関数を呼び出したりする必要があるパイプラインの候補となり、batch 経由のルートは、大規模コーパス全体での一括分類、コンテンツのタグ付け、要約生成といったオフラインジョブに適しています。

api14 経由での呼び出しは、他の OpenAI 互換エンドポイントと同じように機能します。model フィールドを openai/gpt-4o:batch に設定して chat completions ルートにリクエストを送信し、上記のパラメータのいずれでもリクエストボディに渡すことができます。このエンドポイントは OpenAI スキーマに従っているため、既存の OpenAI クライアントライブラリや SDK は通常そのまま動作し、モデル間の切り替えは通常、モデル id を変更するだけで済みます。

留意すべき点の 1 つは、知識カットオフが 2023 年 10 月 31 日であることです。つまり、それ以降の出来事に関する質問は、プロンプトまたは web_search_options を通じて根拠を与える必要があります。出力はテキストのみであるため、画像生成は対象外です。ワークロードがバッチ処理ではなく同期的で低遅延の応答を必要とする場合は、非 batch の GPT-4o バリアントのほうがより自然な選択です。