Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct は Mistral のテキストモデルで、プロバイダーによって 2024 年 4 月 17 日にリリースされました。これは Mixtral 8x22B の公式な instruct ファインチューニング版であり、141B のうち 39B のアクティブパラメータを使用するスパースな mixture-of-experts 設計を採用しています。instruct チューニングは、指示に従いリクエストに直接回答するようにベースモデルを適応させるもので、ほとんどのアプリケーション開発者が API 経由でモデルを呼び出す際に求めているものです。

このモデルはテキストとファイルを入力として受け取り、テキストを返します。コンテキストウィンドウは 65,536 トークン、最大出力は 52,428 トークンであるため、長い入力と長い生成の両方が同じリクエスト内で可能です。知識カットオフは 2024 年 1 月 31 日であり、それ以降の内容はモデルが学習した範囲外であることを意味します。Mistral は、このモデルの特に優れた点として強力な数学とコーディングを挙げており、そのサイズに対するコスト効率の良さも強調しています。

これらの能力は、かなり幅広い実用的用途を示しています。長いコンテキストは、長いレポートの要約、ファイルからの構造化された詳細の抽出、プロンプトで提供されたテキスト群に対する質問への回答など、大きなドキュメントを扱う作業に適しています。数学とコーディングの強みにより、コードの説明や生成といったコード支援、および段階的な推論を必要とする定量的タスクに適しています。ファイルを入力として受け取るため、ドキュメントをプレーンテキストとして貼り付けるのではなく直接渡すパイプラインでも使用できます。ツール呼び出しと構造化出力も、エージェント形式のワークフローや、下流のコードが解析できる応答の生成に適しています。

モデル id "mistralai/mixtral-8x22b-instruct" を使用して、api14 の OpenAI 互換 API 経由で呼び出します。サポートされているリクエストパラメータは frequency_penalty、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_p です。実際には、通常のサンプリング制御 (temperature、top_p、penalties、seed、stop)、max_tokens による出力長、response_format と structured_outputs による応答の整形、tools と tool_choice による関数呼び出しをカバーしています。OpenAI chat completions の形式に合わせて書かれたコードが既にある場合、このモデルへの切り替えは主にモデル id を変更するだけで済みます。

留意すべき点の 1 つは、知識カットオフが 2024 年 1 月 31 日であることです。そのため、それ以降の出来事に関する質問は学習データからは回答されず、検索やプロンプトで提供されるコンテキストが必要になる場合があります。このモデルは出力側ではテキスト専用であるため、画像や音声の生成を必要とするタスクは対象外です。ワークロードが非常に新しい情報や、テキストおよびファイル入力以外のモダリティに依存している場合は、別のモデルの方が適している可能性があります。