ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro est un modèle de génération vidéo de ByteDance, référencé sur api14 sous bytedance/seedance-1-5-pro. Il appartient à la gamme Seedance de modèles de génération audiovisuelle de ByteDance, et le fournisseur le décrit comme reposant sur une architecture Dual-Branch Diffusion Transformer de 4,5 milliards de paramètres. Il se situe dans la catégorie vidéo, son rôle est donc de générer de la vidéo plutôt que de traiter des tâches de texte ou de chat.

Le modèle accepte des entrées texte et image et produit de la vidéo comme unique sortie. Comme il génère simultanément la vidéo et l'audio en une seule passe unifiée, l'audio fait partie du résultat généré plutôt que d'être ajouté après coup. La sortie peut être produite en 480p, 720p ou 1080p, avec des ratios d'image de 1:1, 3:4, 9:16, 9:21, 4:3, 16:9 et 21:9, et des durées de 4 à 12 secondes par pas d'une seconde. Il prend également en charge les images de référence, plus précisément un first_frame et un last_frame, ce qui permet d'ancrer le début, la fin, ou les deux extrémités d'un clip. Aucune longueur de contexte en tokens n'est publiée pour ce modèle, ce qui est attendu pour un générateur vidéo, et maxOutput vaut 0 dans les métadonnées du modèle.

Ces capacités renvoient à un ensemble d'usages assez spécifique. Le texte vers vidéo convient aux courts clips conceptuels, aux formats sociaux et aux aperçus de storyboard, d'autant plus que la liste des ratios d'image couvre les diffusions carrée, verticale et grand écran. L'image vers vidéo, combinée à first_frame et last_frame, s'adapte aux flux de travail où vous disposez déjà d'une image fixe ou d'une image clé et souhaitez du mouvement entre des bornes visuelles définies, comme animer une photo de produit ou faire le lien entre deux images d'un montage. La génération audio native signifie que vous pouvez demander des clips où le son fait partie de la sortie au lieu de les sonoriser séparément. La plage de 4 à 12 secondes fait que le modèle convient mieux aux plans courts qu'aux longues séquences continues, et les options de résolution vous permettent d'arbitrer entre qualité d'aperçu et qualité de sortie finale.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "bytedance/seedance-1-5-pro". Comme l'interface suit le format OpenAI, vous pouvez utiliser les mêmes bibliothèques clientes et la même structure de requête que celles que vous utilisez déjà pour d'autres modèles sur la passerelle, en pointant le champ model vers cet identifiant. Parmi les paramètres de requête, frequency_penalty est celui indiqué comme pris en charge pour ce modèle. Les réglages de génération tels que la résolution, le ratio d'image, la durée, first_frame, last_frame et la génération audio sont exposés via les options propres au modèle plutôt que via les paramètres d'échantillonnage standard que vous utiliseriez pour un modèle de texte.

Il vaut la peine de comparer vos besoins à ce que le modèle expose avant de vous engager. Il n'y a pas de longueur de contexte en tokens publiée, et maxOutput vaut 0, ce n'est donc pas un modèle de complétion de texte et il ne doit pas être utilisé là où vous avez besoin d'un prompt basé sur des tokens ou de réponses textuelles. Sa sortie est plafonnée à 12 secondes par génération, les pièces plus longues doivent donc être assemblées à partir de plusieurs clips. Si votre tâche est du texte, de la compréhension d'image ou une autre modalité non vidéo, un modèle de cette catégorie sur api14 conviendra mieux.