ByteDance: Seedance 2.0 Mini

ByteDance: Seedance 2.0 Mini to model generowania wideo od ByteDance, firmy stojącej za rodziną generatywnych systemów wideo Seedance. Znajduje się w kategorii wideo na api14, a jego zadaniem jest zamiana promptów i materiałów referencyjnych w gotowe klipy wideo. Jest mniejszym bratem w linii Seedance 2.0, skierowanym do deweloperów, którzy chcą generowania wideo od ByteDance bez sięgania po największy wariant.

Model przyjmuje tekst, obraz, wideo i audio jako dane wejściowe, a zwraca wideo jako jedyne wyjście. Ta kombinacja obejmuje kilka trybów generowania: text-to-video z promptu tekstowego, image-to-video z kontrolą nad pierwszą klatką, ostatnią klatką lub obiema, oraz multimodalne reference-to-video, gdzie obrazy, wideo i audio kierują wynikiem. Rozdzielczości wyjściowe to 480p i 720p, a klipy mogą trwać od 4 do 15 sekund w krokach co jedną sekundę. Proporcje obrazu obejmują 1:1, 3:4, 9:16, 4:3, 16:9, 21:9, 9:21. Generowanie audio jest obsługiwane, więc klip może nieść wygenerowaną ścieżkę dźwiękową zamiast być niemy. Dla tego modelu nie opublikowano długości kontekstu.

Te możliwości wskazują na dość konkretny zestaw zadań. Krótkie pionowe klipy w 9:16 dla kanałów społecznościowych, kwadratowe cięcia 1:1 dla placements w feedzie oraz szerokie ramy 16:9 lub 21:9 do zastosowań webowych i prezentacyjnych są bezpośrednio obsługiwane przez listę proporcji obrazu. Kontrola pierwszej i ostatniej klatki pasuje do przejść między ujęciami, prezentacji produktów lub każdego przypadku, w którym klip ma zaczynać się na jednym kadrze, a kończyć na innym. Reference-to-video z wejściami obrazu, wideo i audio pasuje do przenoszenia stylu, spójności postaci lub sceny między ujęciami oraz montaży opartych na muzyce, gdzie audio powinno kształtować tempo. Zakres od 4 do 15 sekund utrzymuje wyniki w obszarze pojedynczych ujęć i krótkich sekwencji, a nie długiej narracji.

Wywołujesz go przez OpenAI-compatible API na api14, używając identyfikatora modelu "bytedance/seedance-2.0-mini". Ponieważ interfejs jest zgodny ze schematem OpenAI, istniejące klienty i SDK działają po zmianie identyfikatora modelu i endpointu. Wśród parametrów wymienionych dla tego modelu obsługiwany jest frequency_penalty. Kontrolki specyficzne dla generowania, rozdzielczość, proporcje obrazu, czas trwania, obrazy pierwszej i ostatniej klatki oraz generowanie audio, są częścią powierzchni żądań modelu, a nie współdzielonych parametrów czatu.

Jest kilka rzeczy do rozważenia przed podjęciem decyzji. Nie opublikowano długości kontekstu, a maksymalne wyjście jest podane jako 0, więc tokenowe rozumowanie o rozmiarze promptu nie jest tu przydatne; traktuj prompt jako brief kreatywny, a nie długi dokument. Wyjście kończy się na 720p, więc prace wymagające wyższej rozdzielczości lub klipy dłuższe niż 15 sekund mogą lepiej pasować do innego modelu. Jeśli twoim zadaniem jest generowanie tekstu lub obrazu, a nie wideo, ten model należy do zupełnie niewłaściwej kategorii.