OpenAI: GPT Audio

GPT Audio는 api14에 openai/gpt-audio라는 식별자로 등록된 OpenAI 모델입니다. 오디오 카테고리에 속하며 OpenAI의 첫 번째 일반 제공 오디오 모델입니다. 이 스냅샷에는 더 자연스러운 음성을 생성하기 위한 업그레이드된 디코더가 포함되어 있으며, 같은 제공자의 이전 오디오 작업보다 더 나은 음성 일관성을 유지합니다. 텍스트를 읽고 쓰는 것뿐만 아니라 말하거나 듣는 기능이 필요한 것을 만든다면, 이것이 OpenAI가 그 작업에 적합하다고 제시하는 모델입니다.

이 모델은 텍스트와 오디오를 모두 입력으로 받아들이고, 텍스트와 오디오를 모두 출력으로 반환할 수 있습니다. 이러한 양방향 기능이 순수 텍스트 모델과 구분되는 주요 차이점입니다. 오디오를 보내면 전사본이나 답변을 받을 수 있고, 텍스트를 보내면 합성 음성을 돌려받을 수 있습니다. 컨텍스트 윈도우는 128000 토큰으로, 지시사항과 이전 턴들과 함께 긴 대화나 긴 오디오 전사본을 담기에 충분히 큽니다. 최대 출력은 16384 토큰이므로, 생성된 오디오 콘텐츠를 포함한 응답은 그 수치로 제한됩니다.

실용적인 용도는 이러한 모달리티에서 직접 따라옵니다. 음성 비서와 대화형 에이전트가 확실한 적합 사례로, 모델이 음성 입력을 받아 턴 전반에 걸쳐 일관된 음성을 유지하면서 음성으로 답할 수 있습니다. 전사 및 오디오 이해 작업도 가능하며, 녹음 요약이나 발언 내용에 대한 질문 답변 등이 포함됩니다. 텍스트 출력도 처리하므로, 일부 사용자는 타이핑하고 다른 사용자는 말하는 채팅 스타일 애플리케이션에서 두 개의 별도 파이프라인을 운영하지 않고 사용할 수 있습니다. 업그레이드된 디코더는 최종 사용자가 음성 품질과 일관성을 인지하는 경우, 예를 들어 고객 대면 에이전트나 내레이션 콘텐츠에서 가장 중요합니다.

api14의 OpenAI 호환 API를 통해 모델 id openai/gpt-audio로 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 키 변경만으로 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p입니다. 도구 호출과 구조화된 출력을 사용할 수 있으므로, 모델을 함수 호출 흐름에 연결하거나 텍스트 출력을 스키마로 제한할 수 있습니다. seed 파라미터는 반복 가능한 결과를 원할 때 도움이 되고, response_format은 응답의 형태를 조정할 수 있게 합니다.

출력 상한을 염두에 두세요. 16384 토큰은 대화에는 넉넉하지만 무제한은 아니므로, 매우 긴 생성 오디오나 확장된 문서는 호출을 나누어 처리해야 할 수 있습니다. 작업이 순수 텍스트이고 오디오를 전혀 다루지 않는다면, 전용 텍스트 모델이 더 단순하고 예측 가능한 선택일 수 있습니다. 여기의 오디오 기능이 이 모델을 선택하는 이유이기 때문입니다. 음성 입력이나 음성 출력이 진정으로 필요한 모든 경우에, GPT Audio는 api14에서 직접적인 옵션입니다.