Alibaba: HappyHorse 1.1

Alibaba: HappyHorse 1.1 to model generowania wideo od Alibaba. Należy do kategorii wideo, a jego zadaniem jest przekształcanie danych wejściowych w krótkie klipy wideo, a nie tekst czy nieruchome obrazy. Jeśli tworzysz produkt, który potrzebuje generowanej treści ruchomej, i już pracujesz z modelami Alibaba lub ze stosem zgodnym z OpenAI, to jest model, który warto ocenić pod to miejsce.

Model przyjmuje dane wejściowe w postaci tekstu i obrazu, a jako jedyne wyjście produkuje wideo. Możesz nim sterować za pomocą samego promptu tekstowego, pojedynczego obrazu początkowego lub zestawu obrazów referencyjnych. Wyjście jest dostępne w rozdzielczościach 720p i 1080p, a do wyboru jest szeroki zakres proporcji: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 i 9:21. Czasy trwania klipów wynoszą od 3 do 15 sekund w krokach co jedną sekundę, więc możesz zażądać wszystkiego od bardzo krótkiej pętli aż do piętnastosekundowego ujęcia. Pierwsza klatka wyjścia może być zakotwiczona w dostarczonym obrazie. Dla tego modelu nie opublikowano długości kontekstu, co jest oczekiwane w przypadku generatora wideo, ponieważ istotnymi ograniczeniami są rozdzielczość, proporcje i czas trwania, a nie okno tokenów.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Pionowe proporcje, takie jak 9:16 i 9:21, pasują do krótkich form społecznościowych i umieszczeń mobilnych, natomiast 16:9 i 21:9 pasują do kadrowania panoramicznego i kinowego. Pojedynczy obraz początkowy jest przydatny, gdy chcesz ożywić nieruchomy obraz, na przykład wprawić w ruch zdjęcie produktu lub portret postaci. Obrazy referencyjne pomagają, gdy potrzebujesz spójności w obrębie ujęcia lub chcesz, aby model podążał za dostarczonym przez ciebie stylem wizualnym. Zakres od 3 do 15 sekund obejmuje reklamy społecznościowe, klipy zapowiadające, animowane storyboardy i krótkie materiały tła. Ponieważ czasy trwania można wybierać co sekundę, możesz najpierw iterować na krótkim klipie i wydłużyć go, gdy ruch będzie wyglądał dobrze.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "alibaba/happyhorse-1.1". Obsługiwane parametry żądania to max_tokens, presence_penalty, response_format, seed, temperature i top_p. Seed warto ustawić, gdy chcesz uzyskać powtarzalne generacje, a temperature i top_p dają kontrolę nad zmiennością między uruchomieniami. Pozostałe parametry działają zgodnie z tymi samymi konwencjami co inne punkty końcowe zgodne z OpenAI, więc istniejące biblioteki klienckie i kształty żądań powinny działać przy minimalnych zmianach.

Przy podejmowaniu decyzji warto pamiętać o kilku rzeczach. Długość wyjścia jest ograniczona do 15 sekund, więc wszystko dłuższe trzeba złożyć z wielu generacji. Tylko pierwszą klatkę można zakotwiczyć w obrazie, a generowanie dźwięku nie zostało określone, więc zaplanuj dodanie własnej ścieżki dźwiękowej, jeśli klip jej potrzebuje. Jeśli twoim zadaniem jest generowanie tekstu, generowanie obrazów lub edycja, a nie wideo, lepiej pasować będzie model z jednej z tych kategorii.