ElevenLabs: Scribe v2

ElevenLabs: Scribe v2 は、音声とボイスの分野での取り組みで知られるプロバイダー ElevenLabs の音声テキスト変換モデルです。文字起こしカテゴリに属するため、その役割は会話的な返答を生成することではなく、話された音声を書き起こされたテキストに変換することです。パイプラインに専用の文字起こしステップが必要な場合、これは汎用チャットモデルとしてではなく、単体で評価する種類のモデルです。

このモデルは入力として音声を受け取り、出力として文字起こしを返します。プロバイダーによると、90 以上の言語にわたる音声テキスト変換を処理します。単語レベルのタイムスタンプを生成するため、文字起こし内の各単語を音声内の特定の時点に整列させることができます。話者ダイアリゼーションはオプションとして利用できるため、複数の話者がいる録音で誰が何を言ったかを区別できます。音声イベントのタグ付けもサポートされており、音声内の非音声の音を出力内でマークできます。このモデルにはコンテキスト長が記載されていないため、長いテキストプロンプトを投入するものではなく、文字起こしエンドポイントとして扱ってください。

これらの機能は、かなり特定のユースケース群を示しています。単語レベルのタイムスタンプは、音声と同期した字幕やキャプションが必要な場合、またはフレーズが話された正確な瞬間にジャンプしたい場合に役立ちます。話者ダイアリゼーションは、各発言を参加者に紐付ける必要がある会議録音、インタビュー、通話録音に適しています。音声イベントのタグ付けは、文字起こしが発話以上のものを記録すべき場合、たとえば録音中に発生した音をマークする場合に役立ちます。90 以上の言語カバレッジにより、多言語アーカイブや、複数地域のユーザーにサービスを提供する製品の候補になります。

このモデルは、モデル id "elevenlabs/scribe-v2" を使用して api14 の OpenAI 互換 API を通じて呼び出します。インターフェースは OpenAI 形式に従っているため、既存の OpenAI クライアントを api14 に向け、その id で音声リクエストを送信できます。このモデルにはサポートされるリクエストパラメータが記載されていないため、エンドポイント自体が受け入れるもの以外に、ここで文書化された追加の調整オプションはありません。詳細には最大出力が 0 と記載されているため、採用する前に想定する文字起こしの長さと照合して確認する価値があります。

パラメータリストが空であり、コンテキスト長の記載もないことを踏まえると、このモデルは設定可能なテキストモデルではなく、焦点を絞った文字起こしサービスとして扱うのが最適です。テキストプロンプトを受け取ってテキストを生成するモデル、またはサンプリングや類似の設定を調整できるモデルが必要な場合は、api14 上の別のモデルの方が適しています。音声を入力し、文字起こしを出力するなら、Scribe v2 が直接的な選択肢です。