OpenAI: GPT Audio

GPT Audioは、api14上で識別子openai/gpt-audioとして掲載されているOpenAIのモデルです。これはaudioカテゴリに属し、OpenAI初の一般提供される音声モデルです。このスナップショットには、より自然に聞こえる声を生成することを目的としたアップグレードされたデコーダーが含まれており、同じプロバイダーの以前の音声関連の取り組みよりも優れた声の一貫性を維持します。テキストを読み書きするだけでなく、話したり聞いたりする必要があるものを作るなら、これがOpenAIがその用途に位置づけているモデルです。

このモデルは入力としてテキストと音声の両方を受け付け、出力としてテキストと音声の両方を返すことができます。この双方向の能力が、純粋なテキストモデルとの主な違いです。音声を送って文字起こしや返信を得たり、テキストを送って合成音声を返してもらったりできます。コンテキストウィンドウは128000トークンで、長い会話や長い音声の文字起こしを、指示や以前のターンと一緒に保持するのに十分な大きさです。最大出力は16384トークンなので、生成される音声コンテンツを含む応答はこの数値によって制限されます。

実用的な用途は、これらのモダリティから直接導かれます。音声アシスタントや会話エージェントは明らかに適合します。モデルは話し言葉の入力を受け取り、ターンをまたいで一貫した声を保ちながら音声で答えることができるからです。文字起こしや音声理解のタスクも機能し、録音の要約や、話された内容についての質問への回答などが含まれます。テキスト出力も扱うため、一部のユーザーが入力し、他のユーザーが話すチャット形式のアプリケーションでも、2つの別々のパイプラインを動かすことなく使用できます。アップグレードされたデコーダーが最も重要になるのは、声の品質と一貫性がエンドユーザーに認識される場面、たとえば顧客対応エージェントやナレーション付きコンテンツです。

これは、モデルID openai/gpt-audioを使用してapi14のOpenAI互換APIを通じて呼び出すため、既存のOpenAI SDKやクライアントはベースURLとキーの変更だけで動作します。サポートされているリクエストパラメータは、frequency_penalty、logit_bias、logprobs、max_tokens、presence_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_logprobs、top_pです。ツール呼び出しと構造化出力が利用できるため、モデルを関数呼び出しフローに組み込んだり、そのテキスト出力をスキーマに制約したりできます。seedパラメータは再現可能な結果が欲しいときに役立ち、response_formatは返信の形を誘導できます。

出力上限に注意してください。16384トークンは会話には十分ですが無制限ではないため、非常に長い生成音声や長大な文書は呼び出しを分割する必要があるかもしれません。タスクが純粋にテキストで音声に一切触れないなら、専用のテキストモデルの方がよりシンプルで予測しやすい選択肢かもしれません。ここでの音声機能こそがこのモデルを選ぶ理由だからです。音声入力や音声出力が本当に必要なものには、GPT Audioがapi14上の直接的な選択肢です。