Cohere: Command R (08-2024)

Command R (08-2024) は Cohere のテキスト生成モデルで、api14 上では cohere/command-r-08-2024 として識別されます。これは以前の Command R モデルの更新版であり、プロバイダーによって 2024 年 8 月 30 日にリリースされました。Cohere のラインナップにおける全体的な役割は同じまま、オリジナル版から改善されています。この更新は多言語検索拡張生成 (RAG) とツール使用における性能向上に焦点を当てており、置き換えるバージョンよりも数学、コード、推論にも強くなっています。

このモデルはテキスト入力とテキスト出力のみを扱います。テキストプロンプトを受け取り、テキスト補完を返します。画像や音声の入力はありません。コンテキストウィンドウは 128,000 トークンで、長い文書、複数ターンの会話、または複数の検索済みパッセージを指示と一緒に保持するのに十分な大きさです。最大出力は 1 応答あたり 4,000 トークンで、知識カットオフは 2024 年 3 月 31 日です。そのため、それ以降の情報はモデル自身の学習データからではなく、プロンプトまたはツール呼び出しから取得する必要があります。

これらの能力はいくつかの実用的な用途を示しています。多言語 RAG が明示された強みであるため、このモデルはクエリとソースが異なる言語である可能性がある文書コレクションに対する質問応答に適しており、検索されたチャンクは長いコンテキストウィンドウに配置されます。ツール使用と構造化出力により、関数を呼び出したり、フィールドをスキーマに抽出したり、リクエストを別のシステムにルーティングしたりする必要があるエージェントやワークフローにも合理的に適合します。数学、コード、推論の改善により、分析タスク、コード説明、段階的な問題解決にも使用できますが、4,000 トークンの出力上限があるため、長い生成ファイルや非常に詳細なレポートは呼び出しを分割する必要があります。

これは api14 の OpenAI 互換 API を通じて、モデル ID cohere/command-r-08-2024 を使用して呼び出します。そのため、既存の OpenAI SDK コードはベース URL とモデル名を変更するだけで動作します。サポートされるリクエストパラメータは frequency_penalty、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_p です。実際には、サンプリング制御 (temperature、top_p、top_k)、繰り返し制御 (frequency および presence ペナルティ)、出力長 (max_tokens)、停止シーケンス、seed によるほぼ決定的なサンプリング、および JSON 形式の response_format とスキーマ制約付き結果のための structured_outputs をカバーします。ツール使用は tools と tool_choice で設定します。

コミットする前に知っておく価値のあるいくつかの制限があります。入力と出力はテキストのみであるため、視覚や音声が必要な場合、このモデルは適切な選択ではありません。4,000 トークンの出力上限により、非常に長い単一応答を出力する必要があるタスクには適していません。2024 年 3 月 31 日の知識カットオフは、最近の情報をプロンプトで提供するか、ツールを通じて取得する必要があることを意味します。また、このモデルは汎用フラッグシップとしてではなく、RAG、ツール使用、推論を中心に位置付けられているため、優先事項がこれらの領域外にある場合は別のモデルの方が適している可能性があります。