ByteDance: Seedance 2.0

ByteDance: Seedance 2.0 is een videogeneratiemodel van ByteDance, het bedrijf achter de Seedance-lijn van generatieve mediamodellen. Het valt in de categorie video, en zijn taak is om je invoer om te zetten in voltooide video-uitvoer in plaats van tekst of stilstaande beelden. Als je iets bouwt dat gegenereerde bewegende beelden nodig heeft, is dit de modelfamilie om naar te kijken bij deze provider.

Aan de invoerkant is Seedance 2.0 multimodaal. Het accepteert tekst, afbeeldingen, video en audio als referenties, en het produceert video als enige uitvoer. Die combinatie dekt tekst-naar-video, afbeelding-naar-video met controle over eerste en laatste frame, en multimodale referentie-naar-video, waarbij je bestaande clips of audio als richtlijn aanlevert. Uitvoer kan worden gegenereerd op 480p, 720p, 1080p of 4K, in beeldverhoudingen van 1:1, 3:4, 9:16, 4:3, 16:9, 21:9 en 9:21, met een duur van 4 tot 15 seconden in stappen van een seconde. Audiogeneratie wordt ondersteund, dus de geretourneerde video kan een soundtrack bevatten. Er is geen contextlengte gepubliceerd voor dit model, wat te verwachten is voor een videogenerator in plaats van een tekstmodel.

Die mogelijkheden wijzen op een paar praktische patronen. Personageconsistentie is een genoemd sterk punt, dus episodische of seriecontent waarbij hetzelfde onderwerp in verschillende shots hetzelfde moet lijken, past daar natuurlijk bij. Controle over het eerste en laatste frame is geschikt voor overgangen van shot naar shot en interpolatie tussen twee keyframes die je al hebt. Referentie-naar-video met video- en audio-invoer is nuttig wanneer je wilt dat een gegenereerde clip qua stijl, tempo of geluid overeenkomt met bestaand materiaal. Het bereik aan beeldverhoudingen dekt verticale socialformats, vierkante posts, breedbeeld en ultrabreed, en de duur van 4 tot 15 seconden sluit aan bij korte advertenties, teasers en socialclips. 4K-uitvoer is belangrijk wanneer het resultaat een groter scherm of verdere bewerking moet doorstaan.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "bytedance/seedance-2.0". Omdat de interface het OpenAI-schema volgt, kun je een bestaande OpenAI-client op de base-URL van api14 richten en je verzoek in de gebruikelijke vorm versturen, met het bovenstaande model-id en je prompt en referentiemedia in de request body. Van de parameters die voor dit model worden vermeld, wordt frequency_penalty ondersteund. Andere generatieregelaars zoals resolutie, beeldverhouding, duur, afbeeldingen voor het eerste en laatste frame en audiogeneratie maken deel uit van het eigen configuratieoppervlak van het model in plaats van de standaard chatparameters, dus raadpleeg de modelpagina voor hoe ze worden doorgegeven.

Er is geen gepubliceerde contextlengte en geen maximaal aantal uitvoertokens om hier te overwegen, aangezien de uitvoer een videobestand is in plaats van een tokenstroom. Als je taak tekstgeneratie, redeneren, classificatie of iets anders is dat woorden retourneert, past een tekstmodel beter; Seedance 2.0 is alleen nuttig wanneer het eindproduct video is. Binnen dat bereik is het de optie om te evalueren wanneer je multimodale referenties, controle op frameniveau of audio in de gegenereerde clip nodig hebt.