Mistral: Mistral Nemo

Mistral Nemo は Mistral のテキストモデルで、NVIDIA との協業により構築されました。12B パラメータのモデルで、プロバイダーでのリリース日は 2024 年 7 月 19 日でした。このモデルは多言語対応で、英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、その他の言語をサポートします。プロジェクト用のモデルを選ぶ場合、これは Mistral のラインナップの中で最大のフラッグシップモデルではなく、より小型で効率的な層に位置します。

このモデルはテキストを入力として受け取り、テキストを出力として返すため、画像や音声を扱わない単純な言語モデルです。コンテキストウィンドウは 131072 トークンで、長い文書、拡張された会話、かなり大きなコードファイルを 1 回のリクエストに収めるのに十分な大きさです。最大出力は 16384 トークンなので、応答は長くできますが、入力上限よりかなり低く制限されます。知識カットオフは 2024 年 4 月 30 日で、タスクがその日付以降の出来事や情報に依存する場合には重要です。

これらの能力は、いくつかの実用的な用途を示します。長いコンテキストは、長文のレポート、契約書、文字起こしから情報を要約または抽出するのに適しており、多言語サポートは翻訳や、複数の言語でユーザーにサービスを提供するアプリケーションに役立ちます。このモデルはテキストのみを受け取り、返すため、チャットアシスタント、提供された文書に対する質問応答、下書きと書き直し、分類、その他のテキスト変換タスクに適しています。16384 トークンの出力上限は、非常に長い生成文書を複数回に分けて作成する必要があるかもしれないことを意味します。

モデルは、モデル id "mistralai/mistral-nemo" を使用して api14 の OpenAI 互換 API を通じて呼び出せます。サポートされるリクエストパラメータは、frequency_penalty、logit_bias、logprobs、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_logprobs、top_p です。このセットはサンプリング制御、決定論的シード、停止シーケンス、構造化出力、ツール呼び出しをカバーするため、標準インターフェースから離れることなく、出力のスタイルと形式の両方を調整できます。

いくつかの制限に留意する価値があります。入力と出力はテキストのみなので、画像や音声の分析を必要とするタスクには別のモデルが必要です。2024 年 4 月 30 日の知識カットオフは、モデルがそれ以降の出来事を組み込みで認識していないことを意味し、16384 トークンの出力上限は単一応答の長さを制約します。ワークロードがこれらのいずれかに依存する場合、別のモデルの方がより適しているかもしれません。