Alibaba: Wan 3.0

Alibaba: Wan 3.0 to model generowania wideo od Alibaba. Należy do kategorii wideo i jest identyfikowany na api14 jako alibaba/wan-3.0. Model jest zbudowany do zamiany tekstu i obrazów w wideo i plasuje się obok innych prac generatywnych Alibaba, a nie jest modelem tekstowym ogólnego przeznaczenia.

Wan 3.0 przyjmuje dane wejściowe w postaci tekstu i obrazu, a jako jedyne dane wyjściowe zwraca wideo. Obsługuje text-to-video, image-to-video oraz generowanie wideo sterowane referencją. Dane wyjściowe mogą być generowane w rozdzielczości 480p, 720p lub 1080p, w proporcjach 16:9, 4:3, 1:1, 3:4 i 9:16. Czasy trwania mieszczą się w zakresie od 2 do 30 sekund. Model może także generować dźwięk razem z wideo. W przypadku pracy opartej na obrazie można dostarczyć obraz first_frame. Dla tego modelu nie podano długości kontekstu, więc planuj w oparciu o parametry wideo, a nie o okno tokenów.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Text-to-video pasuje do krótkich klipów generowanych z opisu tekstowego, takich jak scena, ujęcie produktu lub podgląd koncepcji. Image-to-video z first_frame jest przydatne, gdy masz już nieruchomy obraz i chcesz, aby się poruszał, co pasuje do animacji storyboardów, wariantów reklam lub ożywiania pojedynczej klatki. Generowanie sterowane referencją pomaga, gdy dane wyjściowe muszą pozostać blisko dostarczonej referencji wizualnej. Zakres od 2 do 30 sekund obejmuje krótkie formaty społecznościowe i krótkie fragmenty narracyjne, a proporcje kwadratowe, pionowe i poziome oznaczają, że ten sam model może obsłużyć umiejscowienia w feedzie, relacjach i na szerokim ekranie. Generowanie dźwięku oznacza, że nie musisz dodawać osobnego kroku dźwiękowego dla klipów, które go potrzebują.

Wan 3.0 wywołujesz przez kompatybilne z OpenAI API api14, używając identyfikatora modelu alibaba/wan-3.0. Żądanie przyjmuje max_tokens, presence_penalty, response_format, seed, temperature i top_p. Seed warto ustawić, gdy chcesz uzyskać powtarzalne dane wyjściowe między uruchomieniami, a temperature i top_p dają kontrolę nad zmiennością. Ponieważ danymi wyjściowymi jest wideo, response_format to parametr, który należy sprawdzić, gdy potrzebujesz określonego kształtu zwracanych danych. Same ustawienia wideo, takie jak rozdzielczość, proporcje, czas trwania i obraz first_frame, są częścią żądania, które budujesz dla tego modelu.

Nie podano długości kontekstu, a maxOutput jest raportowany jako 0, więc traktuj to jako punkt końcowy generowania, a nie model rozumowania z długim kontekstem. Jeśli twoje zadanie dotyczy tekstu, kodu lub analizy, lepiej pasować będzie model językowy. Wan 3.0 to właściwy wybór, gdy rezultatem ma być krótki klip wideo zbudowany z tekstu, obrazu lub referencji.