ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 é um modelo de geração de áudio da ByteDance Seed, o braço de pesquisa por trás da família de modelos Seed da ByteDance. Ele se situa na categoria de fala e é descrito por seu provedor como um modelo de geração de áudio não streaming. Em outras palavras, ele foi criado para transformar texto em áudio, e não para transcrever áudio ou manter uma conversa falada. Se você está avaliando-o, o ponto principal a entender desde o início é que ele é um modelo de geração, não um modelo de reconhecimento de fala ou de chat.

O modelo recebe um prompt de texto em linguagem natural como sua única entrada e produz fala e outros áudios como sua saída. O prompt não se limita às palavras que você quer que sejam faladas; ele também pode descrever a voz, o tom e o som desejados, o que significa que o mesmo texto pode ser renderizado de maneiras diferentes dependendo de como você escreve o prompt. A geração é não streaming, então você recebe o áudio finalizado em vez de um fluxo ao vivo de trechos. Nenhum comprimento de contexto é publicado para este modelo, então planeje em torno do próprio prompt em vez de assumir um grande orçamento de tokens.

Como a entrada é um prompt que pode carregar tanto o roteiro quanto uma descrição da entrega, os usos práticos decorrem disso. Você pode gerar falas com uma voz ou um tom específicos para narração, diálogo de personagem ou trabalho de voiceover. Você também pode gerar áudio não falado descrevendo o som que deseja, o que torna o modelo útil para esboços rápidos de design de som ou para produzir assets de áudio que de outra forma precisariam de gravação ou de uma ferramenta de síntese separada. Qualquer fluxo de trabalho em que você tenha texto e queira áudio como saída, e em que você não se importe de esperar por um arquivo completo em vez de transmiti-lo, é um encaixe razoável.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "bytedance-seed/seed-audio-1-0". Como a interface segue o formato OpenAI, você pode apontar um cliente OpenAI existente para a api14 e enviar uma requisição com esse id no campo model. O modelo aceita entrada de texto e retorna saída de áudio. Nenhum parâmetro de requisição além do básico está listado como suportado para este modelo, então mantenha suas requisições simples e coloque a direção de voz, tom e som no próprio texto do prompt em vez de em parâmetros separados.

Há alguns casos em que outro modelo pode lhe servir melhor. Se você precisa de áudio conforme ele é produzido, este modelo é não streaming, então um modelo de fala streaming seria a melhor escolha. Se sua tarefa é transcrever ou entender áudio em vez de criá-lo, você precisa de um modelo de reconhecimento de fala, já que o Seed Audio 1.0 só aceita texto e só produz áudio. E se você precisa de uma janela de contexto publicada para planejar prompts longos com base nela, esse número não está disponível aqui, então um modelo com limites documentados pode ser mais fácil de avaliar.