Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3 は Mistral のテキスト読み上げモデルです。音声カテゴリに属し、api14 上では mistralai/voxtral-mini-tts-3-0 として識別されます。Voxtral ファミリーの他のモデルと同じプロバイダーである Mistral によって提供されており、その役割は狭く具体的です。テキストを生成または編集するのではなく、書かれたテキストを音声に変換することです。

このモデルはテキストのみを入力として受け取り、音声のみを出力として返します。コンテキストウィンドウは 4096 トークンで、最大出力は 3276 トークンであり、これが 1 回のリクエストで送信できるテキスト量の上限となります。Voxtral TTS 3 には、多数のプリセット音声のライブラリが付属しています。これには en_paul_neutral、en_paul_happy、en_paul_sad、en_paul_angry、en_paul_excited といった名前付きの英語音声、gb_oliver_neutral、gb_jane_sarcasm、gb_jane_confused といったイギリス英語音声、fr_marie_neutral、fr_marie_angry といったフランス語音声、さらに voice_3150、voice_478、voice_3132 のような多数の番号付き音声が含まれます。プロバイダーによると、このモデルはゼロショット音声クローニングにも対応しており、テキスト内に感情タグとペースタグを受け付けるため、元のスクリプトを変更せずに話し方を調整できます。

実用的な用途は、これらの特性から直接導かれます。感情タグとペースタグ、そして幅広い音声セットにより、このモデルは、落ち着いた、興奮した、あるいは苛立ったセリフの間で話し方を切り替える必要がある動画やコースのナレーションに適しています。イギリス英語とフランス語の音声セットにより、ロケールごとに別のモデルを用意することなく、ローカライズされたコンテンツに使用できます。ゼロショット音声クローニングは、多くのクリップにわたって一貫したブランド音声やキャラクター音声が必要な場合に役立ち、プリセットライブラリは、自然な音声をすぐに必要とするだけのケースをカバーします。出力は音声のみであるため、パイプラインの最終段階としてよく機能します。テキストモデルでスクリプトを生成または編集し、その最終テキストをここに渡して音声化します。

api14 を通じた呼び出しは、API が OpenAI 互換であるため、ゲートウェイ上の他のモデルと同じように機能します。speech エンドポイントにモデル id mistralai/voxtral-mini-tts-3-0 を指定してリクエストを送信し、テキストを input として渡し、上記のリストから音声を選択します。このモデルは自身が対応するパラメータを報告していないため、ゲートウェイが temperature や top_p のような任意の調整オプションを転送することは期待すべきではありません。音声の選択、テキスト、および埋め込む感情タグやペースタグが、結果を制御する方法です。リクエストは 4096 トークンのコンテキストと 3276 トークンの出力上限内に収めてください。

タスクがテキストを読み上げることではなく生成または書き換えることである場合、Voxtral TTS 3 はテキストのみを受け取り音声のみを返すため、テキストモデルの方が適しています。また、これは文字起こしモデルではないため、音声入力は対象外です。長い文書の場合、コンテキスト制限を守るようにスクリプトをチャンクに分割し、得られた音声をつなぎ合わせる必要があります。