ByteDance: Seedance 2.0

ByteDance: Seedance 2.0 to model generowania wideo od ByteDance, firmy stojącej za linią modeli generatywnych mediów Seedance. Należy do kategorii wideo, a jego zadaniem jest przekształcanie danych wejściowych w gotowe wideo, a nie w tekst czy nieruchome obrazy. Jeśli budujesz cokolwiek, co wymaga generowanego materiału wideo, to jest rodzina modeli, na którą warto spojrzeć u tego dostawcy.

Po stronie danych wejściowych Seedance 2.0 jest multimodalny. Przyjmuje tekst, obrazy, wideo i dźwięk jako materiały referencyjne, a jako jedyne wyjście produkuje wideo. Ta kombinacja obejmuje tekst na wideo, obraz na wideo z kontrolą pierwszej i ostatniej klatki oraz multimodalne odniesienie na wideo, gdzie dostarczasz istniejące klipy lub dźwięk jako wskazówkę. Wyjście może być generowane w rozdzielczości 480p, 720p, 1080p lub 4K, w proporcjach 1:1, 3:4, 9:16, 4:3, 16:9, 21:9 i 9:21, z czasem trwania od 4 do 15 sekund w krokach co jedną sekundę. Generowanie dźwięku jest obsługiwane, więc zwrócone wideo może zawierać ścieżkę dźwiękową. Dla tego modelu nie opublikowano długości kontekstu, co jest oczekiwane w przypadku generatora wideo, a nie modelu tekstowego.

Te możliwości wskazują na kilka praktycznych zastosowań. Spójność postaci jest wymienianą mocną stroną, więc treści epizodyczne lub serialowe, w których ten sam bohater musi wyglądać tak samo w kolejnych ujęciach, są naturalnym zastosowaniem. Kontrola pierwszej i ostatniej klatki pasuje do przejść między ujęciami i interpolacji między dwiema klatkami kluczowymi, które już masz. Odniesienie na wideo z wejściami wideo i audio jest przydatne, gdy chcesz, aby wygenerowany klip pasował stylem, tempem lub dźwiękiem do istniejącego materiału. Zakres proporcji obejmuje pionowe formaty społecznościowe, kwadratowe posty, panoramiczne i ultra szerokie, a czasy trwania od 4 do 15 sekund odpowiadają krótkim reklamom, zwiastunom i klipom społecznościowym. Wyjście 4K ma znaczenie, gdy wynik musi przetrwać na większym ekranie lub dalszą edycję.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "bytedance/seedance-2.0". Ponieważ interfejs jest zgodny ze schematem OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy URL api14 i wysłać żądanie w zwykłej formie, z powyższym identyfikatorem modelu oraz promptem i mediami referencyjnymi w treści żądania. Wśród parametrów wymienionych dla tego modelu obsługiwany jest frequency_penalty. Inne elementy sterujące generowaniem, takie jak rozdzielczość, proporcje, czas trwania, obrazy pierwszej i ostatniej klatki oraz generowanie dźwięku, należą do własnej powierzchni konfiguracyjnej modelu, a nie do standardowych parametrów czatu, więc sprawdź stronę modelu, aby dowiedzieć się, jak są przekazywane.

Nie ma tu opublikowanej długości kontekstu ani maksymalnej liczby tokenów wyjściowych do rozważenia, ponieważ wyjściem jest plik wideo, a nie strumień tokenów. Jeśli twoim zadaniem jest generowanie tekstu, rozumowanie, klasyfikacja lub cokolwiek, co zwraca słowa, lepiej pasuje model tekstowy; Seedance 2.0 jest przydatny tylko wtedy, gdy rezultatem ma być wideo. W tym zakresie jest to opcja do oceny, gdy potrzebujesz multimodalnych odniesień, kontroli na poziomie klatek lub dźwięku w wygenerowanym klipie.