Alibaba: Wan 3.0 Prime

Wan 3.0 Prime est un modèle de génération vidéo d'Alibaba, référencé sur api14 sous l'identifiant de modèle alibaba/wan-3.0-prime. Il s'agit d'une variante en mode rapide du Wan 3.0 d'Alibaba, et son objectif déclaré est la génération de texte vers vidéo et d'image vers vidéo à partir de la première image. Si vous connaissez déjà la gamme Wan, considérez ce modèle comme le frère plus rapide plutôt que comme une famille de modèles différente.

Le modèle prend en entrée du texte et des images et produit de la vidéo comme unique sortie. Comme il accepte une image de première image, vous pouvez piloter un clip à partir d'une image fixe que vous fournissez, ou générer entièrement à partir d'une invite écrite. La sortie peut être demandée en 480p, 720p ou 1080p, avec des rapports d'aspect de 16:9, 4:3, 1:1, 3:4 et 9:16, ce qui couvre les formats paysage, carré et vertical. Les durées des clips vont de 2 à 30 secondes par pas d'une seconde, vous pouvez donc demander des boucles courtes ou des séquences plus longues sans assemblage. La génération audio est également disponible, ce qui signifie qu'une seule requête peut renvoyer une vidéo avec du son plutôt qu'une piste silencieuse. Aucune longueur de contexte n'est publiée pour ce modèle, prévoyez donc en fonction des paramètres vidéo plutôt que d'un budget de jetons.

Ces capacités correspondent à un ensemble de tâches assez spécifique. Une sortie verticale 9:16 sur des durées courtes convient aux placements sociaux et mobiles, tandis que le 16:9 en résolutions plus élevées convient aux contenus de type web, présentation et diffusion. L'image vers vidéo à partir de la première image est utile lorsque vous disposez d'une illustration validée, d'une photo de produit ou d'une case de storyboard et que vous souhaitez en dériver un mouvement plutôt qu'une nouvelle interprétation. La plage de 2 à 30 secondes fonctionne pour les teasers, les images animées, les fonds et les clips en boucle. La génération audio réduit le besoin d'une passe sonore séparée sur les pièces simples. Les ratios carré et 4:3 aident lorsque le même élément doit être diffusé sur plusieurs canaux.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle alibaba/wan-3.0-prime, donc le code client de style OpenAI existant n'a besoin que d'une chaîne de modèle modifiée. Les paramètres de requête pris en charge sont max_tokens, presence_penalty, response_format, seed, temperature et top_p. Seed est celui à utiliser lorsque vous avez besoin d'une sortie reproductible entre les exécutions, et temperature et top_p vous donnent le contrôle de la variation entre les générations. Notez que max_tokens est pris en charge comme paramètre même si la sortie du modèle est une vidéo, et la valeur maxOutput publiée est 0, ne vous fiez donc pas à lui pour plafonner la durée du clip. La durée, la résolution et le rapport d'aspect sont définis via les champs spécifiques à la vidéo plutôt que via les paramètres de jetons.

Il n'y a pas de longueur de contexte publiée, et le modèle est uniquement vidéo, il ne convient donc pas au chat textuel, à la classification, au résumé ou à toute tâche qui attend une réponse textuelle ou structurée. Si vous avez besoin de cela, un modèle textuel est le meilleur choix. Dans le travail vidéo, la principale contrainte à prendre en compte est la durée : 30 secondes est le plafond, les pièces plus longues doivent donc être générées en segments et assemblées ensuite.