OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instructは、2023年9月28日にリリースされたOpenAIのテキストモデルです。これは指示プロンプト向けに調整されたGPT-3.5 Turboの変種であり、OpenAIの会話モデルに見られるチャット関連の最適化は省略されています。そのトレーニングデータは2021年9月までであり、これが公称の知識カットオフです。

このモデルはテキストを入力として受け取り、テキストを出力として返すため、マルチモーダルタスクではなく、単純な補完スタイルの作業に適しています。コンテキスト長は4095トークンで、最大出力は3685トークンです。サポートされるリクエストパラメータには、temperature、top_p、max_tokens、stop、frequency_penalty、presence_penalty、logit_bias、logprobs、top_logprobs、seed、response_format、structured_outputsが含まれます。

このモデルはチャット最適化ではなく指示チューニングされているため、自然に適するのは単一ターンのプロンプトから補完への作業です。典型的な用途には、テキストの下書きと書き換え、要約、分類、定義された構造への抽出、1つの指示を送って1つの応答を消費する生成パイプラインが含まれます。structured outputsとresponse_formatのサポートは、下流のコードが予測可能な形を必要とする場合に有用であり、logprobsとtop_logprobsはトークンレベルの信頼度を検査したい場合に役立ちます。seedパラメータは、実行間でより再現性の高いサンプリングを望む場合に役立ちます。

このモデルは、モデルID「openai/gpt-3.5-turbo-instruct」を使用してapi14のOpenAI互換APIを通じて呼び出します。リクエストはOpenAI chat completionsスタイルのスキーマに従うため、既存のOpenAI SDKとクライアントはベースURLとキーの変更だけで動作します。指示をuserメッセージのcontentとして送信し、上記のサポートされるパラメータのいずれかを設定します。このモデルはチャット最適化ではなく指示チューニングされているため、長いマルチターン会話よりも、明確な単一の指示として書かれたプロンプトの方がより適している傾向があることに注意してください。

計画時に考慮すべき主な制約は、4095トークンのコンテキスト長と2021年9月の知識カットオフであるため、最近の情報を必要とするものはプロンプト自体に含める必要があります。長い文書、大きなコードファイル、または拡張されたマルチターン対話は、ウィンドウを超えたり、ここではより不自然に動作したりする可能性があります。会話のやり取りが必要な場合は、チャット最適化モデルの方が通常はより適しており、はるかに大きなコンテキストが必要な場合は、カタログ内の別のモデルの方がより適しています。