OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) は OpenAI のテキスト生成モデルで、api14 上でモデル id openai/gpt-4-turbo:batch として提供されています。これは OpenAI の GPT-4 Turbo ラインのバッチ版であり、視覚機能が追加されたバージョンです。api14 は、プラットフォーム上の他のモデルで使用するのと同じ OpenAI 互換インターフェースを通じてリクエストをこのモデルにルーティングするため、別途 SDK や統合作業は必要ありません。

このモデルはテキストと画像の入力を受け付け、テキスト出力を生成します。つまり、役立つ場面では 1 つのリクエスト内でプロンプトと画像を混在させることができます。128,000 トークンのコンテキストウィンドウをサポートし、レスポンスは最大 4,096 トークンまで可能です。学習データは 2023 年 12 月までです。視覚リクエストは JSON モードや関数呼び出しと併用できるため、構造化出力やツール使用はテキストのみの呼び出しに限定されません。

これらの機能は、いくつかの実用的なパターンを示しています。長い文書、コードベース、文字起こしは 128,000 トークンのウィンドウに余裕をもって収まるため、大規模な入力を対象とした要約、抽出、質問応答は、重いチャンク分割なしで実行できます。画像を入力として受け付けるため、スクリーンショット分析、図の解釈、スキャンしたページからの文書解析も対象範囲です。関数呼び出しと構造化出力により、エージェント、ツールを使用するワークフロー、機械可読なレスポンスを必要とするパイプラインに適しており、JSON モードは下流の解析を予測可能に保ちます。

api14 で呼び出すには、OpenAI 自身の API の場合とまったく同じように、model フィールドを openai/gpt-4-turbo:batch に設定して chat completions エンドポイントへリクエストを送信します。このモデルは frequency_penalty、logit_bias、logprobs、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_logprobs、top_p をサポートします。これにはサンプリング制御、seed による決定性、トークン制限、停止シーケンス、構造化出力形式、ツール定義が含まれるため、標準的な OpenAI 形式のリクエストボディのほとんどは変更なしで動作します。

確定する前に注意すべき制約が 2 つあります。出力はレスポンスごとに 4,096 トークンに制限されるため、非常に長い単一の補完を必要とするタスクは複数の呼び出しに分割する必要があるかもしれません。また、知識カットオフが 2023 年 12 月であるため、プロンプトで提供しない限り、モデルはそれ以降の事柄を認識しません。ワークロードがより新しい知識、より大きな出力予算、または異なるコストプロファイルを必要とする場合は、これを選定する前に api14 で利用可能な他のモデルを確認してください。