ByteDance Seed: Seed Audio 1.0

ByteDance Seed : Seed Audio 1.0 est un modèle de génération audio de ByteDance Seed, la branche de recherche derrière la famille de modèles Seed de ByteDance. Il appartient à la catégorie de la parole et est décrit par son fournisseur comme un modèle de génération audio non streaming. En d'autres termes, il est conçu pour transformer du texte en audio plutôt que pour transcrire de l'audio ou tenir une conversation parlée. Si vous l'évaluez, l'essentiel à comprendre d'emblée est qu'il s'agit d'un modèle de génération, et non d'un modèle de reconnaissance vocale ou de conversation.

Le modèle prend en entrée uniquement une invite textuelle en langage naturel et produit en sortie de la parole et d'autres contenus audio. L'invite ne se limite pas aux mots que vous voulez faire prononcer ; elle peut aussi décrire la voix, le ton et le son souhaités, ce qui signifie qu'un même texte peut être rendu de différentes manières selon la façon dont vous rédigez l'invite. La génération est non streaming, vous recevez donc l'audio final plutôt qu'un flux en direct de segments. Aucune longueur de contexte n'est publiée pour ce modèle, il faut donc raisonner autour de l'invite elle-même plutôt que de supposer un large budget de tokens.

Comme l'entrée est une invite pouvant porter à la fois le script et une description de l'interprétation, les usages pratiques en découlent. Vous pouvez générer des répliques parlées avec une voix ou un ton particulier pour la narration, le dialogue de personnages ou le travail de voix off. Vous pouvez aussi générer de l'audio non vocal en décrivant le son souhaité, ce qui rend le modèle utile pour des esquisses rapides de design sonore ou pour produire des ressources audio qui nécessiteraient autrement un enregistrement ou un outil de synthèse distinct. Tout flux de travail où vous disposez de texte et voulez obtenir de l'audio en sortie, et où vous acceptez d'attendre un fichier complet plutôt qu'un flux, est un bon candidat.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "bytedance-seed/seed-audio-1-0". Comme l'interface suit le format OpenAI, vous pouvez pointer un client OpenAI existant vers api14 et envoyer une requête avec cet identifiant dans le champ model. Le modèle accepte une entrée texte et renvoie une sortie audio. Aucun paramètre de requête au-delà des bases n'est indiqué comme pris en charge pour ce modèle, donc gardez vos requêtes simples et placez les indications de voix, de ton et de son dans le texte de l'invite lui-même plutôt que dans des paramètres séparés.

Il existe quelques cas où un autre modèle peut mieux vous convenir. Si vous avez besoin de l'audio au fur et à mesure de sa production, ce modèle est non streaming, donc un modèle de parole en streaming serait le meilleur choix. Si votre tâche consiste à transcrire ou à comprendre de l'audio plutôt qu'à en créer, vous avez besoin d'un modèle de reconnaissance vocale, car Seed Audio 1.0 accepte uniquement du texte et ne produit que de l'audio. Et si vous avez besoin d'une fenêtre de contexte publiée pour planifier de longues invites, cette donnée n'est pas disponible ici, donc un modèle avec des limites documentées peut être plus facile à appréhender.