Alibaba: HappyHorse 1.1

Alibaba: HappyHorse 1.1 è un modello di generazione video di Alibaba. Si colloca nella categoria video e il suo compito è trasformare i tuoi input in brevi clip video anziché in testo o immagini statiche. Se stai sviluppando un prodotto che necessita di contenuti in movimento generati e lavori già con modelli Alibaba o con uno stack compatibile con OpenAI, questo è il modello da valutare per quel ruolo.

Il modello accetta input di testo e immagini e produce video come unico output. Puoi guidarlo con un solo prompt testuale, con una singola immagine iniziale o con un insieme di immagini di riferimento. L'output è disponibile a 720p e 1080p e puoi scegliere tra un'ampia gamma di proporzioni: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 e 9:21. Le durate delle clip vanno da 3 a 15 secondi con incrementi di un secondo, quindi puoi richiedere qualsiasi cosa, da un loop molto breve fino a un'inquadratura di quindici secondi. Il primo fotogramma dell'output può essere ancorato a un'immagine fornita. Non è pubblicata alcuna lunghezza di contesto per questo modello, cosa prevedibile per un generatore video, dato che i vincoli rilevanti sono risoluzione, proporzioni e durata anziché una finestra di token.

Queste capacità indicano un insieme di utilizzi piuttosto specifico. Le proporzioni verticali come 9:16 e 9:21 si adattano ai formati social brevi e ai posizionamenti mobile, mentre 16:9 e 21:9 si adattano all'inquadratura widescreen e cinematografica. Una singola immagine iniziale è utile quando vuoi animare una still, ad esempio mettere in movimento la foto di un prodotto o il ritratto di un personaggio. Le immagini di riferimento aiutano quando hai bisogno di coerenza all'interno di un'inquadratura o vuoi che il modello segua uno stile visivo che fornisci tu. L'intervallo da 3 a 15 secondi copre annunci social, clip teaser, storyboard animati e brevi filmati di sfondo. Poiché le durate sono selezionabili al secondo, puoi iterare prima su una clip breve ed estenderla una volta che il movimento sembra corretto.

Chiami il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "alibaba/happyhorse-1.1". I parametri di richiesta supportati sono max_tokens, presence_penalty, response_format, seed, temperature e top_p. Vale la pena impostare seed quando vuoi generazioni riproducibili, mentre temperature e top_p ti danno il controllo sulla variazione tra le esecuzioni. I parametri rimanenti seguono le stesse convenzioni degli altri endpoint compatibili con OpenAI, quindi le librerie client e le forme di richiesta esistenti dovrebbero essere trasferibili con modifiche minime.

Ci sono alcune cose da tenere a mente quando decidi. La lunghezza dell'output è limitata a 15 secondi, quindi qualsiasi cosa di più lungo deve essere assemblata da più generazioni. Solo il primo fotogramma può essere ancorato a un'immagine e la generazione audio non è specificata, quindi prevedi di aggiungere una tua colonna sonora se la clip ne ha bisogno. Se il tuo compito è la generazione o la modifica di testo o immagini anziché video, un modello di una di quelle categorie sarà più adatto.