Alibaba: HappyHorse 1.1

Alibaba : HappyHorse 1.1 est un modèle de génération vidéo d'Alibaba. Il appartient à la catégorie vidéo, et son rôle est de transformer vos entrées en courts clips vidéo plutôt qu'en texte ou en images fixes. Si vous construisez un produit qui nécessite du contenu animé généré et que vous travaillez déjà avec des modèles Alibaba ou une pile compatible OpenAI, c'est le modèle à évaluer pour ce créneau.

Le modèle accepte des entrées texte et image et produit de la vidéo comme unique sortie. Vous pouvez le piloter avec un simple prompt texte, avec une seule image de départ, ou avec un ensemble d'images de référence. La sortie est disponible en 720p et 1080p, et vous pouvez choisir parmi une large gamme de ratios d'aspect : 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 et 9:21. Les durées des clips vont de 3 à 15 secondes par pas d'une seconde, vous pouvez donc demander aussi bien une boucle très courte qu'un plan allant jusqu'à quinze secondes. La première image de la sortie peut être ancrée à une image fournie. Aucune longueur de contexte n'est publiée pour ce modèle, ce qui est attendu pour un générateur vidéo, puisque les contraintes pertinentes sont la résolution, le ratio d'aspect et la durée plutôt qu'une fenêtre de tokens.

Ces capacités indiquent un ensemble d'usages assez spécifique. Les ratios verticaux tels que 9:16 et 9:21 conviennent aux formats courts pour les réseaux sociaux et le mobile, tandis que 16:9 et 21:9 correspondent au cadrage grand écran et cinématographique. Une seule image de départ est utile lorsque vous voulez animer une image fixe, par exemple mettre en mouvement la photo d'un produit ou le portrait d'un personnage. Les images de référence aident lorsque vous avez besoin de cohérence sur un plan ou que vous voulez que le modèle suive un style visuel que vous fournissez. La plage de 3 à 15 secondes couvre les publicités sociales, les clips teaser, les storyboards animés et les courtes séquences d'arrière-plan. Comme les durées sont sélectionnables seconde par seconde, vous pouvez d'abord itérer sur un clip court et l'étendre une fois que le mouvement vous convient.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "alibaba/happyhorse-1.1". Les paramètres de requête pris en charge sont max_tokens, presence_penalty, response_format, seed, temperature et top_p. Seed vaut la peine d'être défini lorsque vous voulez des générations reproductibles, et temperature et top_p vous donnent le contrôle sur la variation entre les exécutions. Les paramètres restants suivent les mêmes conventions que les autres points de terminaison compatibles OpenAI, donc les bibliothèques clientes et les formes de requête existantes devraient être réutilisables avec des changements minimes.

Quelques points sont à garder en tête au moment de décider. La longueur de sortie est plafonnée à 15 secondes, donc tout ce qui est plus long doit être assemblé à partir de plusieurs générations. Seule la première image peut être ancrée à une image, et la génération audio n'est pas spécifiée, donc prévoyez d'ajouter votre propre bande sonore si le clip en a besoin. Si votre tâche est la génération de texte, la génération ou l'édition d'images plutôt que la vidéo, un modèle de l'une de ces catégories conviendra mieux.