Fish Audio: Transcribe 1

Fish Audio: Transcribe 1 は Fish Audio の音声テキスト変換モデルで、api14 の transcription カテゴリに掲載されています。これは同プロバイダーの専用文字起こしサービスであり、テキスト生成やマルチモーダル生成の作業とは別物で、録音された音声を書き言葉に変換することだけを目的として存在します。アプリケーションで音声を実用的な文字起こしに変換する必要があり、すでに他のリクエストを OpenAI 互換ゲートウェイ経由でルーティングしているなら、この作業のために評価すべきモデルはこれです。

このモデルは入力モダリティとして音声のみを受け付け、出力として文字起こしを返します。自動言語検出を行うため、クリップを処理する前にどの言語が話されているかを事前に伝える必要はありません。アラインメントの詳細を要求すると、未分化なテキストの塊ではなく、タイムスタンプ付きの単語レベルのセグメントを返せます。この単語レベルのタイミングは、単に読むだけではない下流のあらゆる用途で最も重要な機能です。各単語を音声内の時点にマッピングできるようになります。モデルのメタデータにはトークン単位のコンテキスト長が公開されていないため、リクエストのサイズを決める際はトークン予算ではなく音声そのものを基準にしてください。

出力に単語レベルのタイムスタンプを含められるため、いくつかの実用的なユースケースが直接導かれます。字幕やキャプションの生成はセグメントのタイミングの恩恵を受けます。キャプショントラックは各フレーズがいつ現れるかを知る必要があるからです。文字起こしエディタやノート作成ツールは、再生に合わせて音声をハイライトしたり、ユーザーが単語をクリックしてその時点にジャンプできるようにしたりできます。録音された会議、インタビュー、講義、サポート通話に対する検索とインデックス作成は、音声がテキストになれば可能になり、単語アラインメントがそれらのヒットの精度を高めます。言語検出は、混在言語または未知の言語の音声を受け取り、別途分類ステップを先に踏まずに文字起こしを得たい場合にも役立ちます。

このモデルは、モデル ID "fish-audio/transcribe-1" を使用して api14 の OpenAI 互換 API 経由で呼び出します。インターフェースが OpenAI の慣例に従っているため、すでに OpenAI 互換のベース URL を指している既存のクライアントや SDK は、専用の統合なしでリクエストを送信できます。このモデルにはサポートされるリクエストパラメータが記載されていないため、音声文字起こし呼び出しの標準的なリクエスト形式を前提にし、音声入力に適用されるフィールドについてはリクエストスキーマを確認してください。アラインメント出力が必要な場合は、アラインメントの詳細を要求して、レスポンスにプレーンテキストではなくタイムスタンプ付きの単語レベルセグメントを含めてください。メタデータには max output の値がゼロと記録されているため、出力上限について公開メタデータに頼るべきではなく、レスポンスサイズは自身のワークロードに対して検証してください。

適合性について。このモデルは文字起こしのみを対象としています。テキストを生成したり、音声について質問に答えたり、翻訳したり、要約したり、文字起こし以外の出力を生成したりはしません。そのため「この会議を要約して」といったタスクには、文字起こしを入力として与える別のテキストモデルが必要です。サポートされるパラメータやトークンのコンテキスト長が公開されていないため、ここではサンプリングや推論の挙動を調整できず、非常に長い録音は 1 回のパスで動作すると仮定せず、自身のパイプラインでテストすべきです。要件が音声を入力とし、正確なタイムスタンプ付きテキストを出力し、自動言語検出を伴うものであるなら、このモデルはまさにそれに向けられています。