ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0은 ByteDance의 Seed 모델 제품군을 만든 연구 조직인 ByteDance Seed의 오디오 생성 모델입니다. 음성 카테고리에 속하며, 제공사는 이를 비스트리밍 오디오 생성 모델이라고 설명합니다. 즉, 오디오를 텍스트로 변환하거나 음성 대화를 나누기 위한 것이 아니라 텍스트를 오디오로 바꾸기 위해 만들어졌습니다. 이 모델을 평가하고 있다면, 먼저 이해해야 할 핵심은 이것이 음성 인식이나 채팅 모델이 아니라 생성 모델이라는 점입니다.

이 모델은 자연어 텍스트 프롬프트를 유일한 입력으로 받고 음성 및 기타 오디오를 출력으로 생성합니다. 프롬프트는 발화하고 싶은 단어로만 제한되지 않습니다. 원하는 목소리, 어조, 소리를 설명할 수도 있습니다. 즉, 프롬프트를 어떻게 작성하느냐에 따라 같은 텍스트도 다르게 렌더링될 수 있습니다. 생성은 비스트리밍 방식이므로 청크가 실시간으로 스트리밍되는 것이 아니라 완성된 오디오를 받습니다. 이 모델에는 공개된 컨텍스트 길이가 없으므로 큰 토큰 예산을 가정하지 말고 프롬프트 자체를 기준으로 계획하세요.

입력이 대본과 전달 방식에 대한 설명을 모두 담을 수 있는 프롬프트이기 때문에, 실용적인 용도도 여기에서 나옵니다. 내레이션, 캐릭터 대사, 보이스오버 작업을 위해 특정 목소리나 어조로 말하는 대사를 생성할 수 있습니다. 원하는 소리를 설명하여 비음성 오디오도 생성할 수 있으므로, 빠른 사운드 디자인 스케치나 녹음 또는 별도의 합성 도구가 필요했을 오디오 자산을 만들 때 유용합니다. 텍스트가 있고 오디오를 얻고 싶으며, 스트리밍이 아니라 완전한 파일을 기다려도 괜찮은 모든 워크플로에 적합합니다.

모델 id "bytedance-seed/seed-audio-1-0"을 사용하여 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 인터페이스가 OpenAI 형식을 따르므로 기존 OpenAI 클라이언트를 api14로 지정하고 model 필드에 해당 id를 넣어 요청을 보낼 수 있습니다. 이 모델은 텍스트 입력을 받고 오디오 출력을 반환합니다. 이 모델에서 지원되는 것으로 나열된 요청 파라미터는 기본적인 것 외에는 없으므로, 요청은 단순하게 유지하고 목소리, 어조, 소리 지시는 별도 파라미터가 아니라 프롬프트 텍스트 자체에 넣으세요.

다른 모델이 더 적합할 수 있는 경우가 몇 가지 있습니다. 생성되는 즉시 오디오가 필요하다면 이 모델은 비스트리밍이므로 스트리밍 음성 모델이 더 나은 선택입니다. 작업이 오디오를 만들기보다 전사하거나 이해하는 것이라면 음성 인식 모델이 필요합니다. Seed Audio 1.0은 텍스트만 받고 오디오만 출력하기 때문입니다. 그리고 긴 프롬프트를 계획할 기준으로 공개된 컨텍스트 윈도가 필요하다면 그 수치는 여기에서 제공되지 않으므로, 문서화된 제한이 있는 모델이 추론하기 더 쉬울 수 있습니다.