OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k は OpenAI のテキストモデルで、プロバイダーによって 2023 年 8 月 28 日にリリースされました。GPT-3.5 ファミリーに属し、標準の GPT-3.5 Turbo の長コンテキスト版であり、そのモデルの約 4 倍のコンテキスト長を提供します。これは特殊用途ではなく汎用の言語モデルであり、ベースの GPT-3.5 Turbo が提供するよりも 1 回のリクエストにより多くの余地を必要とする開発者を対象としています。

このモデルは入力としてテキストを受け取り、出力としてテキストを返します。コンテキストウィンドウは 16,385 トークンで、最大出力は 4,096 トークンです。知識カットオフは 2021 年 9 月 30 日であるため、それ以降のものはトレーニングデータに含まれていません。より大きなコンテキストがここでの主な差別化要因です。OpenAI は、1 回のリクエストでおよそ 20 ページのテキストをサポートすると説明しており、短い指示ではなく大量のソース資料を含むプロンプトに適しています。

この容量が実際のユースケースを形作ります。長い文書の要約、貼り付けたコーパスに対する質問応答、長大なレポートからの構造化フィールドの抽出、大量の以前の対話を保持する必要があるマルチターン会話は、いずれも 16,385 トークンのウィンドウ内に収まります。このモデルはツールと構造化出力をサポートしているため、モデルがツールを選択して引数を返す関数呼び出しスタイルのワークフローや、response_format を介して JSON スキーマに準拠しなければならない応答にも使用できます。Logprobs と top_logprobs が利用可能で、最終的なテキストだけでなくモデルのトークンレベルの信頼度を確認する必要がある場合に役立ちます。

モデル id「openai/gpt-3.5-turbo-16k」を使用して、api14 の OpenAI 互換 API を通じて呼び出します。エンドポイントは OpenAI の chat completions の形式に従っているため、既存の OpenAI SDK とクライアントはベース URL とキーの変更だけで動作します。サポートされているリクエストパラメータは frequency_penalty、logit_bias、logprobs、max_completion_tokens、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_logprobs、top_p です。Seed は再現可能なサンプリングが必要な場合に便利で、stop シーケンスは生成を区切ることができます。

コミットする前に検討すべき 2 つの制約があります。2021 年 9 月の知識カットオフは、自分でそのコンテキストを提供しない限り、モデルがそれ以降の出来事、ライブラリ、API を認識していないことを意味し、入力ウィンドウが大きいにもかかわらず、4,096 トークンの出力上限によって 1 回の応答で生成できる量が制限されます。タスクにより新しい知識、より長い出力、または画像入力が必要な場合、このモデルでは対応できず、api14 上の別のモデルの方が適しています。