ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 es un modelo de generación de audio de ByteDance Seed, el brazo de investigación detrás de la familia de modelos Seed de ByteDance. Se sitúa en la categoría de voz y su proveedor lo describe como un modelo de generación de audio no en streaming. En otras palabras, está diseñado para convertir texto en audio en lugar de transcribir audio o mantener una conversación hablada. Si lo estás evaluando, lo clave que debes entender desde el principio es que es un modelo de generación, no un modelo de reconocimiento de voz ni de chat.

El modelo toma un prompt de texto en lenguaje natural como su única entrada y produce voz y otro audio como salida. El prompt no se limita a las palabras que quieres que se pronuncien; también puede describir la voz, el tono y el sonido deseados, lo que significa que el mismo texto puede renderizarse de distintas formas según cómo escribas el prompt. La generación es no en streaming, así que recibes el audio terminado en lugar de un flujo en vivo de fragmentos. No se publica una longitud de contexto para este modelo, así que planifica en torno al propio prompt en lugar de asumir un gran presupuesto de tokens.

Dado que la entrada es un prompt que puede llevar tanto el guion como una descripción de la interpretación, los usos prácticos se derivan de eso. Puedes generar líneas habladas con una voz o un tono concretos para narración, diálogo de personajes o trabajo de locución. También puedes generar audio no hablado describiendo el sonido que quieres, lo que hace que el modelo sea útil para bocetos rápidos de diseño sonoro o para producir recursos de audio que de otro modo necesitarían grabación o una herramienta de síntesis aparte. Cualquier flujo de trabajo en el que tengas texto y quieras audio de salida, y en el que te venga bien esperar un archivo completo en lugar de transmitirlo, es un encaje razonable.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "bytedance-seed/seed-audio-1-0". Como la interfaz sigue el formato de OpenAI, puedes apuntar un cliente de OpenAI existente a api14 y enviar una solicitud con ese id en el campo model. El modelo acepta entrada de texto y devuelve salida de audio. No se indica que se admitan parámetros de solicitud más allá de los básicos para este modelo, así que mantén tus solicitudes simples y pon la dirección de voz, tono y sonido en el propio texto del prompt en lugar de en parámetros separados.

Hay un par de casos en los que otro modelo puede convenirte más. Si necesitas audio a medida que se produce, este modelo es no en streaming, así que un modelo de voz en streaming sería la mejor opción. Si tu tarea es transcribir o entender audio en lugar de crearlo, necesitas un modelo de reconocimiento de voz, ya que Seed Audio 1.0 solo acepta texto y solo produce audio. Y si necesitas una ventana de contexto publicada para planificar prompts largos, esa cifra no está disponible aquí, así que un modelo con límites documentados puede ser más fácil de razonar.