Mistral: Voxtral Mini TTS

Mistral Voxtral Mini TTS は Mistral のテキスト読み上げモデルで、api14 の speech カテゴリに掲載されています。入力はテキストのみ、出力は音声のみであるため、音声パイプラインの認識側ではなく合成側に位置します。すでに他の Mistral モデルを api14 経由でルーティングしている場合、これも同じプロバイダーのモデルであり、同じアクセスパターンに従います。

このモデルはテキストを受け取り、自然な音声を返します。多言語出力に対応しており、利用可能な音声は英語、イギリス英語、フランス語をカバーしています。英語の音声は en_paul の下にまとめられており、sad、neutral、happy、frustrated、excited、confident、cheerful、angry のバリアントがあります。イギリス英語には gb_oliver と gb_jane があり、それぞれ curious、confident、cheerful、angry、sarcasm、confusion、shame、jealousy、frustration といった独自の感情バリアントを持ちます。フランス語は fr_marie が担当し、sad、neutral、happy、excited、curious、angry のバリアントがあります。コンテキストウィンドウは 4096 トークン、最大出力は 3276 で、これは入力テキストと生成音声が共有する予算であるため、リクエストごとにソーステキストを適度に短く保ってください。

これらの機能はいくつかの実用的な用途を示します。記事、ドキュメント、製品コピーをナレーションし、素材に合った感情的なトーンの音声を選ぶことができます。たとえば、オンボーディングコンテンツには明るい声、技術的な読み上げにはニュートラルな声などです。音声が 3 つの言語バリアントで存在するため、同じソーステキストから英語、イギリス英語、フランス語の視聴者向けにローカライズされた音声を生成できます。感情の幅により、ゲームや e ラーニングの対話にもこのモデルは使用できます。そこでは 1 行が excited、frustrated、sad として読まれる必要があるかもしれません。プロバイダーが説明するゼロショット音声クローニングは、一連のクリップ全体で一貫したカスタム音声が必要な場合に関連します。

api14 経由での呼び出しは、他の OpenAI 互換モデルと同様に機能します。chat completions エンドポイントにモデル id "mistralai/voxtral-mini-tts-2603" と入力テキストを指定してリクエストを送信すると、レスポンスに生成された音声が含まれます。このモデルはサポートするパラメータを列挙していないため、リクエストで調整できるサンプリングや生成のつまみはありません。音声の選択が主な制御であり、上記の音声リストから選びます。調整可能な設定ではなく、固定の 4096 トークンコンテキストと 3276 トークン出力上限を前提に統合を計画してください。

パラメータリストが空であるため、このモデルはテキストと音声を指定し、デフォルトの動作を受け入れる単純な合成ジョブに適しています。生成設定を細かく制御する必要がある場合、または入力テキストがコンテキストウィンドウを定期的に超える場合は、別のモデル、あるいはこのモデルの前段にチャンク化ステップを検討するとよいでしょう。サポートされている言語と音声でのプレーンなテキスト読み上げには、このモデルがタスクを直接カバーします。