Kling: Video O1

Kling: Video O1 to model generowania wideo stworzony przez Kling, linię wideo AI od Kuaishou. Należy do kategorii wideo i jest identyfikowany na api14 przez identyfikator modelu kwaivgi/kling-video-o1. Jeśli budujesz cokolwiek, co wymaga generowanego ruchomego materiału filmowego, a nie tekstu lub nieruchomych obrazów, to jest rodzina modeli, której warto się przyjrzeć, a pochodzi od dostawcy, którego specjalizacją jest wideo, a nie ogólnego przeznaczenia praca z językiem.

Model przyjmuje dane wejściowe w postaci tekstu i obrazu, a zwraca wideo. Oznacza to, że obsługiwane są zarówno przepływy pracy tekst na wideo, jak i obraz na wideo, a także można dostarczyć obrazy klatek jako first_frame lub last_frame, aby zakotwiczyć sposób, w jaki klip się zaczyna lub kończy. Dane wyjściowe są dostępne w rozdzielczości 720p w trzech proporcjach obrazu, 16:9, 9:16 i 1:1, a czasy trwania klipów wynoszą 5 lub 10 sekund. Generowanie dźwięku jest również dostępne, więc pojedyncze żądanie może wygenerować klip z dźwiękiem, a nie nieme nagranie. Dla tego modelu nie opublikowano długości kontekstu, więc traktuj go jako generator wideo, a nie coś, do czego przekazujesz długie dokumenty.

Praktyczne zastosowania wynikają bezpośrednio z tych danych wejściowych i wyjściowych. Tekst na wideo pasuje do krótkich ujęć kinowych, wizualizacji koncepcji i klipów społecznościowych, w których opisujesz scenę i pozwalasz modelowi ją wyrenderować. Obraz na wideo jest przydatny, gdy masz już nieruchomy obraz, taki jak zdjęcie produktu, ilustrację lub klatkę storyboardu, i chcesz go ożywić. Dostarczenie pierwszej klatki i ostatniej klatki daje pewien stopień kontroli nad ruchem między dwoma znanymi stanami, co pomaga w przejściach i ujęciach, które muszą zaczynać się lub kończyć na określonej kompozycji. Proporcja 9:16 pasuje do pionowych kanałów, 16:9 pasuje do standardowego odtwarzania panoramicznym, a 1:1 obejmuje umiejscowienia kwadratowe. Czas trwania 5 sekund sprawdza się w szybkich pętlach i zapowiedziach, podczas gdy 10 sekund daje ujęciu więcej miejsca na rozwój. Generowanie dźwięku oznacza, że możesz dostarczyć gotowy klip bez osobnego etapu dźwiękowego.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu kwaivgi/kling-video-o1, więc istniejący kod klienta i narzędzia w stylu OpenAI przenoszą się przy minimalnych zmianach. Parametry żądania udostępnione dla tego modelu to max_tokens, temperature i top_p. Temperature i top_p dają kontrolę nad tym, jak zróżnicowane lub deterministyczne jest generowanie, a max_tokens ogranicza żądanie. Rozdzielczość, proporcja obrazu, czas trwania, obrazy klatek i dźwięk są właściwościami wyjścia wideo tego modelu, a nie wymienionymi parametrami żądania, więc sprawdź aktualny schemat na stronie modelu, zanim podłączysz je do żądania.

Jedna rzecz do zapamiętania: ten model generuje wyłącznie wideo. Jeśli twoim zadaniem jest generowanie tekstu, rozumowanie, klasyfikacja lub tworzenie obrazów, inny model na api14 będzie pasować lepiej. Nie podano również długości kontekstu, więc unikaj traktowania go jako modelu z długim kontekstem. Jednak w swojej dziedzinie obejmuje typowe przypadki: krótkie klipy w 720p, trzy proporcje obrazu, dwa czasy trwania, opcjonalny dźwięk i kotwiczenie klatek do pracy opartej na obrazach.