ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 は、ByteDance の Seed モデルファミリーを支える研究部門である ByteDance Seed による音声生成モデルです。これは speech カテゴリに属し、プロバイダーによって非ストリーミング音声生成モデルと説明されています。言い換えれば、音声を文字起こししたり音声会話を行ったりするためではなく、テキストを音声に変換するために作られています。評価する場合、最初に理解しておくべき重要な点は、これが生成モデルであり、音声認識モデルやチャットモデルではないということです。

このモデルは、自然言語のテキストプロンプトを唯一の入力として受け取り、音声およびその他のオーディオを出力として生成します。プロンプトは、読み上げてほしい言葉に限定されません。希望する声、トーン、音を記述することもできるため、同じテキストでもプロンプトの書き方によって異なる形でレンダリングできます。生成は非ストリーミングであるため、チャンクのライブストリームではなく、完成した音声を受け取ります。このモデルにはコンテキスト長が公開されていないため、大きなトークン予算を前提とせず、プロンプト自体を基準に計画してください。

入力が、台本と話し方の説明の両方を运ぶことができるプロンプトであるため、実用的な用途はそこから導かれます。ナレーション、キャラクターの台詞、ボイスオーバー作業のために、特定の声やトーンで話される行を生成できます。また、欲しい音を記述することで非音声オーディオも生成できるため、このモデルは素早いサウンドデザインのスケッチや、本来なら録音や別の合成ツールが必要になるオーディオアセットの制作に役立ちます。テキストがあり音声を出力として得たいワークフローで、ストリーミングではなく完全なファイルを待つことに問題がないものであれば、合理的に適合します。

このモデルは、モデル id "bytedance-seed/seed-audio-1-0" を使用して api14 の OpenAI 互換 API を通じて呼び出します。インターフェースが OpenAI 形式に従っているため、既存の OpenAI クライアントを api14 に向け、model フィールドにその id を指定してリクエストを送信できます。このモデルはテキスト入力を受け取り、音声出力を返します。このモデルでサポートされているのは基本的なもの以外のリクエストパラメータは記載されていないため、リクエストはシンプルに保ち、声、トーン、音の指示は別々のパラメータではなくプロンプトテキスト自体に入れてください。

別のモデルの方が適している場合がいくつかあります。生成されると同時に音声が必要な場合、このモデルは非ストリーミングであるため、ストリーミング音声モデルの方が適した選択肢になります。タスクが音声を作成することではなく、音声を文字起こししたり理解したりすることである場合、Seed Audio 1.0 はテキストのみを受け取り音声のみを出力するため、音声認識モデルが必要です。また、長いプロンプトを計画するために公開されたコンテキストウィンドウが必要な場合、その数値はここでは利用できないため、制限が文書化されているモデルの方が推論しやすいでしょう。