Cohere: Command R+ (08-2024)

Command R+ (08-2024) は Cohere のテキスト生成モデルで、プロバイダーによって 2024 年 8 月 30 日にリリースされました。これは以前の Command R+ モデルの更新版であり、Cohere によれば、同じハードウェアフットプリントを維持しながら、以前のバージョンより約 50 パーセント高いスループットと 25 パーセント低いレイテンシを実現しています。以前に Command R+ を使用したことがあるなら、これは別のモデルファミリーではなく、同じ系統の新しいチェックポイントです。

このモデルはテキスト入力とテキスト出力で動作します。最大 128,000 トークンのコンテキストを受け入れ、これは長い文書、文字起こし、またはマルチターンの会話を 1 回のリクエストに収めるのに十分です。出力はレスポンスあたり 4,000 トークンに制限されているため、非常に長い生成文書よりも、回答、要約、構造化ペイロードに適しています。知識カットオフは 2024 年 3 月 31 日であり、それ以降の内容はプロンプト、ツール、または検索から取得する必要があります。サポートされるパラメータには temperature、top_p、top_k、frequency_penalty、presence_penalty、max_tokens、stop、seed、response_format に加えて、ツール呼び出しと制約付き生成のための tools、tool_choice、structured_outputs があります。

この機能セットはいくつかの実用的なパターンを示しています。検索拡張生成は自然に適合します。長いコンテキストにより、取得した passage を質問と一緒に貼り付けることができます。ツール呼び出しと構造化出力により、モデルがどの関数を呼び出すかを決定し、定義したスキーマで引数を返すエージェントの推論ステップとして使用できます。tools と response_format の両方がサポートされているため、自由テキストの回答と機械可読な JSON を混在させるパイプラインを構築できます。128,000 トークンのウィンドウは、長いレポートの要約、契約書からのフィールド抽出、またはコードベースやドキュメントセットに対する質問への 1 回のパスでの回答にも役立ちます。

api14 を通じて、OpenAI 互換の chat completions エンドポイントとモデル id "cohere/command-r-plus-08-2024" で呼び出します。リクエストは使い慣れた messages 形式を使用するため、既存の OpenAI SDK クライアントはベース URL を api14 に向け、モデル名を置き換えるだけで動作します。リクエストボディには、サポートされる任意のパラメータを指定できます: temperature、top_p、top_k、frequency_penalty、presence_penalty、max_tokens、stop、seed、response_format、tools、tool_choice、structured_outputs。max_tokens は生成される返信を制御し、コンテキストウィンドウがはるかに大きくても 4,000 トークンの出力上限を超えられないことに注意してください。

計画時に考慮すべき 2 つの制約があります。4,000 トークンの出力制限は、章全体や大きなコードファイルを 1 回のレスポンスで生成するような長文生成では、チャンク分割またはより高い出力上限を持つモデルが必要になる可能性があることを意味します。2024 年 3 月の知識カットオフは、時間に敏感な質問がプロンプトまたはツールを通じて提供する内容に依存することも意味します。ワークロードが主に画像や音声の場合、このモデルはテキストのみを扱うため適していません。これらの範囲内の単純なテキストタスクには、妥当なデフォルトです。