ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro to model generowania wideo od ByteDance, wymieniony na api14 jako bytedance/seedance-1-5-pro. Należy do linii modeli generowania audiowizualnego Seedance firmy ByteDance, a dostawca opisuje go jako zbudowany na architekturze Dual-Branch Diffusion Transformer o 4,5 mld parametrów. Znajduje się w kategorii wideo, więc jego rolą jest generowanie wideo, a nie obsługa zadań tekstowych lub czatowych.

Model przyjmuje dane wejściowe w postaci tekstu i obrazu, a jako jedyne wyjście produkuje wideo. Ponieważ generuje wideo i dźwięk jednocześnie w jednym zunifikowanym przebiegu, dźwięk jest częścią wygenerowanego wyniku, a nie czymś dodanym później. Wyjście może być generowane w rozdzielczości 480p, 720p lub 1080p, w proporcjach 1:1, 3:4, 9:16, 9:21, 4:3, 16:9 i 21:9, oraz w czasie trwania od 4 do 12 sekund w krokach co jedną sekundę. Obsługuje również obrazy klatek, konkretnie first_frame i last_frame, co pozwala zakotwiczyć początek, koniec lub oba końce klipu. Dla tego modelu nie opublikowano długości kontekstu w tokenach, co jest oczekiwane w przypadku generatora wideo, a maxOutput wynosi 0 w metadanych modelu.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Tekst na wideo pasuje do krótkich klipów koncepcyjnych, formatów społecznościowych i podglądów storyboardów, zwłaszcza że lista proporcji obejmuje dostarczanie kwadratowe, pionowe i panoramiczne. Obraz na wideo, w połączeniu z first_frame i last_frame, pasuje do przepływów pracy, w których masz już nieruchomy obraz lub klatkę kluczową i chcesz uzyskać ruch między zdefiniowanymi wizualnymi punktami granicznymi, na przykład animując zdjęcie produktu lub łącząc dwie klatki montażu. Natywne generowanie dźwięku oznacza, że możesz zamówić klipy, w których dźwięk jest częścią wyniku, zamiast podkładać go osobno. Zakres od 4 do 12 sekund sprawia, że model najlepiej nadaje się do krótkich ujęć, a nie długich ciągłych sekwencji, a opcje rozdzielczości pozwalają wymieniać jakość podglądu na jakość końcowego wyniku.

Wywołujesz go przez API zgodne z OpenAI na api14, używając identyfikatora modelu "bytedance/seedance-1-5-pro". Ponieważ interfejs jest zgodny z formatem OpenAI, możesz używać tych samych bibliotek klienckich i struktury żądań, których już używasz dla innych modeli w bramie, wskazując pole model na ten identyfikator. Wśród parametrów żądania frequency_penalty jest tym wymienionym jako obsługiwany dla tego modelu. Ustawienia generowania, takie jak rozdzielczość, proporcje, czas trwania, first_frame, last_frame i generowanie dźwięku, są udostępniane przez własne opcje modelu, a nie przez standardowe parametry próbkowania, których użyłbyś dla modelu tekstowego.

Warto sprawdzić swoje wymagania względem tego, co udostępnia model, przed podjęciem decyzji. Nie ma opublikowanej długości kontekstu w tokenach, a maxOutput wynosi 0, więc nie jest to model uzupełniania tekstu i nie powinien być używany tam, gdzie potrzebujesz podpowiedzi opartych na tokenach lub odpowiedzi tekstowych. Jego wyjście jest ograniczone do 12 sekund na generowanie, więc dłuższe materiały trzeba złożyć z wielu klipów. Jeśli twoje zadanie dotyczy tekstu, rozumienia obrazu lub innej modalności niż wideo, lepiej pasuje model z tej kategorii na api14.