Cohere: Command R7B (12-2024)

Command R7B (12-2024) は、Cohere のテキストモデルで、プロバイダーによって 2024 年 12 月 14 日にリリースされました。これは Command R+ モデルの小型で高速な更新版と説明されており、一般的なチャットだけでなく実用的なツール駆動型のワークロードを対象とした Cohere の Command 言語モデルファミリーに位置づけられます。Command シリーズをすでにご存じであれば、大規模モデルを使わずに同じスタイルのタスク対応範囲を求める際に検討すべき、コンパクトでより高速なバリアントです。

このモデルはテキストを入力として受け取り、テキストを出力します。コンテキストウィンドウは 128,000 トークン、最大出力は 4,000 トークンです。知識カットオフは 2024 年 8 月 31 日であるため、それ以降の情報はトレーニング中に学習した範囲外です。Cohere はこれを、検索拡張生成、ツール使用、エージェント、および複雑な推論を必要とする同様のタスクに強いと位置づけています。これらが計画の前提とすべき能力です。つまり、長い入力、構造化されたまたはツール指向の作業、そして純粋な創作文章ではなく多段階の推論です。

この組み合わせは、かなり具体的なユースケース群を示しています。RAG パイプラインは明らかな適合先です。128k のコンテキストにより、取得したドキュメントを質問と一緒に、積極的に切り詰めることなく詰め込めるからです。ツール使用とエージェントループも同じ強みから導かれます。たとえば、どの関数を呼び出すかを判断し、結果を読み取り、処理を続けるモデルです。構造化出力がサポートされているため、レスポンスがスキーマに準拠する必要がある抽出や分類のタスクにも使用できます。4,000 トークンの出力上限には注意が必要です。回答、要約、ツール呼び出しには適していますが、単一のレスポンスで長いドキュメントを生成するのには向いていません。

呼び出しは、モデル ID "cohere/command-r7b-12-2024" を使用して、api14 の OpenAI 互換 API を通じて行います。インターフェースは OpenAI の chat completions の形式に従っているため、既存の OpenAI SDK やクライアントは通常、ベース URL とモデル ID を変更するだけで動作します。サポートされるリクエストパラメータは、frequency_penalty、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、top_k、top_p です。seed の存在は、再現可能なサンプリングを行いたい場合に便利です。また、response_format と structured_outputs は、下流のコードが解析可能な出力を必要とする場合に頼るべきものです。

制限に関して、主な制約として挙げられているのは、4,000 トークンの最大出力と 2024 年 8 月 31 日の知識カットオフです。タスクが非常に最近の情報に依存する場合は、モデル自身の知識に頼るのではなく、プロンプトまたは検索を通じてそれを提供する必要があります。画像や音声の入力が必要な場合、このモデルはテキスト専用であるため、それらを受け付けません。これらの範囲内では、長文生成よりも速度と長い入力ウィンドウが重要な RAG、エージェント、構造化テキストタスクにとって、妥当なデフォルトです。