HeyGen: HeyGen Video

HeyGen Video to model generowania wideo ogólnego przeznaczenia od HeyGen, wymieniony na api14 pod identyfikatorem modelu heygen/heygen-video-1. Należy do kategorii wideo i jest zbudowany do renderowania krótkich klipów, a nie do zadań tekstowych lub czatowych. Jeśli go oceniasz, najważniejsze jest zrozumienie, że to punkt końcowy generowania: podajesz materiał źródłowy, a on zwraca plik wideo.

Po stronie danych wejściowych model przyjmuje tekst, obrazy, wideo i dźwięk, więc możesz sterować klipem za pomocą promptu tekstowego, zdjęcia referencyjnego, istniejącego materiału filmowego lub ścieżki audio. Jedynym trybem wyjściowym jest wideo. Dla tego modelu nie opublikowano długości kontekstu, więc planowanie oparte na tokenach tutaj nie ma zastosowania. Szczegóły wyjścia są bardziej przydatne: klipy można renderować w rozdzielczości 480p, 768p lub 2K, w proporcjach 21:9, 16:9, 4:3, 1:1, 3:4 i 9:16, a czas trwania wynosi od 5 do 15 sekund w krokach co jedną sekundę. Obraz first_frame można dostarczyć, aby zakotwiczyć ujęcie otwierające. Generowanie dźwięku nie jest włączone, więc model samodzielnie nie syntezuje dialogów, tła dźwiękowego ani efektów dźwiękowych.

Te możliwości wskazują na dość konkretny zestaw zadań. Krótkie pionowe klipy w 9:16 do kanałów społecznościowych, kwadratowe cięcia 1:1 do umieszczeń w kanale oraz szerokoekranowe 16:9 lub 21:9 do stron docelowych i prezentacji mieszczą się w obsługiwanych proporcjach. Ponieważ obraz first_frame jest akceptowany, możesz zachować spójny wygląd w serii klipów, używając tego samego zdjęcia początkowego. Ponieważ wideo i dźwięk są akceptowane jako dane wejściowe, możesz też pracować na istniejącym materiale filmowym lub dostarczonej ścieżce, zamiast zaczynać wyłącznie od tekstu. Zakres od 5 do 15 sekund pasuje do zapowiedzi, ujęć produktowych i zapętlonych segmentów tła, a nie do długich narracji.

Wywoływanie go przez api14 działa tak samo jak w przypadku każdego innego modelu w bramie: użyj punktu końcowego zgodnego z OpenAI i przekaż heygen/heygen-video-1 jako identyfikator modelu. Model nie udostępnia żadnych obsługiwanych parametrów żądania, więc w treści żądania nie ma flag próbkowania ani generowania do dostrojenia. W praktyce oznacza to, że kontrola nad wynikiem pochodzi z danych wejściowych, które podajesz (tekst promptu, obraz referencyjny, wideo źródłowe, dźwięk) oraz z ustawień wyjściowych zdefiniowanych przez model, takich jak rozdzielczość, proporcje, czas trwania i pierwsza klatka.

Przed podjęciem decyzji warto rozważyć dwa ograniczenia. Nie ma długości kontekstu, wokół której można planować, a model nie generuje dźwięku, więc każdy projekt zależny od syntezowanej mowy, tła dźwiękowego lub efektów dźwiękowych będzie wymagał wytworzenia tych elementów gdzie indziej i połączenia ich później. Jeśli twoim zadaniem jest generowanie tekstu, rozumowanie lub cokolwiek poza wyjściem wideo, lepiej pasować będzie inny model na api14. Jednak w zakresie generowania krótkich form wideo połączenie wielu trybów wejściowych, kotwicy pierwszej klatki oraz szerokiego zakresu proporcji i czasów trwania pokrywa większość typowych wymagań dotyczących klipów.