Runway: Gen-4.5

Runway: Gen-4.5 to model generowania wideo od Runway, firmy stojącej za rodziną generatywnych narzędzi wideo Gen. Należy do kategorii wideo i jest stworzony do tworzenia kinowych scen, a Runway opisuje jego mocne strony jako jakość ruchu, wierność wizualną i trzymanie się promptu. Jeśli znasz już linię modeli Runway, to jest wpis Gen-4.5, a na api14 jest adresowany przez identyfikator modelu runway/gen-4.5.

Model przyjmuje dane wejściowe tekstowe i obrazowe, a jako jedyne wyjście produkuje wideo. Prompty tekstowe napędzają generowanie tekstu na wideo, natomiast obraz można dostarczyć jako pierwszą klatkę dla przepływów pracy obraz na wideo, co pozwala zakotwiczyć ujęcie w konkretnej kompozycji początkowej. Wyjście ma rozdzielczość 720p i można wybierać między proporcjami 16:9 a 9:16, co obejmuje standardowe formaty poziome i pionowe. Czas trwania klipów wynosi od 2 do 10 sekund w przyrostach jednosekundowych, więc można zażądać wszystkiego od bardzo krótkiego taktu do dziesięciosekundowego ujęcia. Generowanie dźwięku nie jest dostępne, więc należy zaplanować dodanie dźwięku osobno. Dla tego modelu nie podano długości kontekstu, co jest oczekiwane w przypadku generatora wideo, a nie modelu tekstowego.

Praktyczne zastosowania wynikają z tych możliwości. Tekst na wideo pasuje do pracy koncepcyjnej, storyboardów, które muszą się poruszać, oraz krótkich ujęć wprowadzających, w których chcesz szybko iterować nad promptem. Obraz na wideo jest przydatny, gdy masz nieruchomy obraz, który chcesz ożywić, taki jak zdjęcie produktu, klatka kluczowa od artysty lub klatka wyciągnięta z istniejącego montażu, i chcesz, aby ruch zaczynał się od tego dokładnego obrazu. Opcja 9:16 sprawia, że model jest istotny dla formatów pionowych, a zakres od 2 do 10 sekund pasuje do klipów społecznościowych, reklam i wstawek, a nie do długich sekwencji. Ponieważ nie ma ścieżki dźwiękowej, najlepiej sprawdza się jako źródło wizualne, które składasz w edytorze.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu runway/gen-4.5, więc istniejący kod klienta w stylu OpenAI działa po zmianie bazowego adresu URL i nazwy modelu. Model nie udostępnia żadnych regulowanych parametrów żądania poza samym identyfikatorem modelu, więc prompt i ewentualny obraz pierwszej klatki niosą kierunek kreatywny. Czas trwania, proporcje i rozdzielczość są ustalone przez obsługiwany zestaw modelu, a nie udostępnione jako regulowane parametry, więc nie należy oczekiwać przekazywania ustawień próbkowania lub generowania w żądaniu.

Jeśli potrzebujesz dźwięku generowanego razem z wideo lub rozdzielczości powyżej 720p, ten model ich nie zapewnia i inna opcja może pasować lepiej. Jest również słabym dopasowaniem do długiego ciągłego materiału, ponieważ maksymalny klip to 10 sekund. Do generowania nieruchomych obrazów lub zadań tekstowych właściwym wyborem jest inny model na api14.