Mistral: Mistral Small 3

Mistral Small 3 は Mistral のテキスト生成モデルで、プロバイダーによって 2025 年 1 月 30 日にリリースされました。一般的な AI タスク全体で低レイテンシ性能に最適化された 24B パラメータの言語モデルで、Apache 2.0 ライセンスの下でリリースされています。事前学習版と指示チューニング版の両方が存在し、ここでモデル id mistralai/mistral-small-24b-instruct-2501 として提供されているのは指示チューニング版です。

このモデルはテキスト入力で動作し、テキスト出力を生成するため、標準的なチャットおよび補完スタイルのワークロードに適しています。コンテキストウィンドウは 32768 トークンで、これはプロンプトと生成された応答を合わせたものをカバーし、1 回の出力で最大 16384 トークンを生成できます。知識カットオフは 2023 年 10 月 31 日であるため、それ以降に起きたことはモデルがトレーニング中に学習した範囲外です。中程度のパラメータ数と 32k コンテキストの組み合わせにより、単一の狭いタスクの専門家ではなく、汎用的な指示モデルとなっています。

指示チューニング済みで低レイテンシに最適化されているため、このモデルは応答速度が重要な日常的なタスクに適しています。チャットアシスタント、要約、リライト、分類、抽出、コンテキストウィンドウ内に収まる資料に対する質問応答などです。16384 トークンの出力上限により、複数段落の草稿や構造化ドキュメントなど、より長い生成が可能であり、32768 トークンのコンテキストは、たとえば複数のドキュメントや長い会話履歴など、かなりの量の参照テキストを含むプロンプトをサポートします。大規模かつレイテンシに敏感なエンドポイント向けに、信頼できるテキストモデルを必要とする開発者が想定利用者です。

モデル id mistralai/mistral-small-24b-instruct-2501 を使用して api14 の OpenAI 互換 API を通じて呼び出します。つまり、既存の OpenAI クライアントライブラリとリクエスト形式は、モデル名を変更するだけで動作します。このモデルは frequency_penalty、logit_bias、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_k、top_p をサポートします。structured_outputs と response_format は、応答を定義された形で必要な場合に利用でき、seed はサンプリングをより再現可能にするのに役立ちます。サンプリング挙動は temperature、top_p、top_k、min_p で制御され、repetition_penalty、frequency_penalty、presence_penalty はモデルがどれだけ繰り返すかを形作ります。

コミットする前に留意すべき実用的な制約が 2 つあります。2023 年 10 月 31 日という知識カットオフは、モデルがそれ以降の出来事を組み込みで認識していないことを意味するため、最近の情報に依存するアプリケーションではプロンプトでそれを提供する必要があります。入力と出力はテキストのみであるため、ワークロードに画像や音声が含まれる場合、このモデルは適していません。また、32768 トークンのコンテキストウィンドウでは、非常に大きな入力は全体を渡すのではなく、チャンク化や検索が必要になります。