Alibaba: HappyHorse 1.1

Alibaba: HappyHorse 1.1 is een videogeneratiemodel van Alibaba. Het valt in de categorie video, en zijn taak is om je invoer om te zetten in korte videoclips in plaats van tekst of stilstaande beelden. Als je een product bouwt dat gegenereerde bewegende content nodig heeft en je werkt al met Alibaba-modellen of een OpenAI-compatibele stack, dan is dit het model om te evalueren voor die plek.

Het model accepteert tekst- en afbeeldingsinvoer en produceert video als enige uitvoer. Je kunt het aansturen met alleen een tekstprompt, met een enkele startafbeelding, of met een set referentieafbeeldingen. Uitvoer is beschikbaar in 720p en 1080p, en je kunt kiezen uit een breed scala aan beeldverhoudingen: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 en 9:21. Clipduur loopt van 3 tot 15 seconden in stappen van een seconde, dus je kunt alles aanvragen van een zeer korte loop tot een shot van vijftien seconden. Het eerste frame van de uitvoer kan verankerd worden aan een aangeleverde afbeelding. Er is geen contextlengte gepubliceerd voor dit model, wat te verwachten is voor een videogenerator, aangezien de relevante beperkingen resolutie, beeldverhouding en duur zijn in plaats van een tokenvenster.

Die mogelijkheden wijzen op een vrij specifieke set toepassingen. Verticale verhoudingen zoals 9:16 en 9:21 passen bij short form social en mobiele plaatsingen, terwijl 16:9 en 21:9 passen bij breedbeeld en cinematografische kadering. Een enkele startafbeelding is nuttig wanneer je een stilstaand beeld wilt animeren, bijvoorbeeld een productfoto of een personageportret in beweging brengen. Referentieafbeeldingen helpen wanneer je consistentie nodig hebt binnen een shot of wilt dat het model een visuele stijl volgt die je aanlevert. Het bereik van 3 tot 15 seconden dekt social advertenties, teaserclips, geanimeerde storyboards en korte achtergrondbeelden. Omdat de duur per seconde selecteerbaar is, kun je eerst itereren op een korte clip en deze verlengen zodra de beweging goed lijkt.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "alibaba/happyhorse-1.1". De ondersteunde aanvraagparameters zijn max_tokens, presence_penalty, response_format, seed, temperature en top_p. Seed is het instellen waard wanneer je reproduceerbare generaties wilt, en temperature en top_p geven je controle over variatie tussen runs. De overige parameters volgen dezelfde conventies als andere OpenAI-compatibele endpoints, dus bestaande clientbibliotheken en aanvraagvormen zouden over moeten komen met minimale wijzigingen.

Er zijn een paar dingen om in gedachten te houden bij het beslissen. De uitvoerlengte is beperkt tot 15 seconden, dus alles langer moet worden samengesteld uit meerdere generaties. Alleen het eerste frame kan verankerd worden aan een afbeelding, en audiogeneratie is niet gespecificeerd, dus plan om je eigen soundtrack toe te voegen als de clip er een nodig heeft. Als je taak tekstgeneratie, afbeeldingsgeneratie of bewerking is in plaats van video, dan past een model in een van die categorieën beter.