Alibaba: Wan 3.0 Prime

Wan 3.0 Prime é um modelo de geração de vídeo da Alibaba, listado na api14 sob o id de modelo alibaba/wan-3.0-prime. É uma variante de modo rápido do Wan 3.0 da Alibaba, e o seu propósito declarado é a geração de texto para vídeo e de imagem para vídeo a partir do primeiro fotograma. Se já conhece a linha Wan, encare este modelo como o irmão mais rápido e não como uma família diferente de modelos.

O modelo recebe entradas de texto e imagem e produz vídeo como única saída. Como aceita uma imagem de primeiro fotograma, pode orientar um clipe a partir de uma imagem estática que forneça, ou gerar inteiramente a partir de um prompt escrito. A saída pode ser pedida em 480p, 720p ou 1080p, em proporções de 16:9, 4:3, 1:1, 3:4 e 9:16, o que cobre formatos horizontais, quadrados e verticais. As durações dos clipes vão de 2 a 30 segundos em passos de um segundo, pelo que pode pedir ciclos curtos ou sequências mais longas sem necessidade de montagem. A geração de áudio também está disponível, o que significa que um único pedido pode devolver vídeo com som em vez de uma faixa silenciosa. Não é publicada qualquer extensão de contexto para este modelo, por isso planeie em torno dos parâmetros de vídeo e não de um orçamento de tokens.

Estas capacidades apontam para um conjunto bastante específico de tarefas. A saída vertical 9:16 em durações curtas é adequada para redes sociais e colocações móveis, enquanto 16:9 em resoluções mais altas se ajusta a conteúdo web, de apresentação e de estilo broadcast. A conversão de imagem para vídeo a partir do primeiro fotograma é útil quando tem arte aprovada, uma fotografia de produto ou um painel de storyboard e quer movimento derivado daí em vez de uma nova interpretação. O intervalo de 2 a 30 segundos funciona para teasers, imagens estáticas animadas, planos de fundo e clipes em ciclo. A geração de áudio reduz a necessidade de uma passagem de som separada em peças simples. As proporções quadrada e 4:3 ajudam quando o mesmo recurso tem de ser usado em mais do que um canal.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo alibaba/wan-3.0-prime, pelo que código de cliente no estilo OpenAI existente precisa de pouco mais do que uma string de modelo alterada. Os parâmetros de pedido que suporta são max_tokens, presence_penalty, response_format, seed, temperature e top_p. Seed é o parâmetro a usar quando precisa de saída reproduzível entre execuções, e temperature e top_p dão-lhe controlo sobre a variação entre gerações. Note que max_tokens é suportado como parâmetro mesmo que a saída do modelo seja vídeo, e o valor maxOutput publicado é 0, por isso não conte com ele para limitar a duração do clipe. A duração, a resolução e a proporção são definidas através dos campos específicos de vídeo e não dos parâmetros de tokens.

Não existe extensão de contexto publicada, e o modelo é apenas de vídeo, por isso não é adequado para conversa de texto, classificação, sumarização ou qualquer tarefa que espere uma resposta de texto ou estruturada. Se precisar dessas tarefas, um modelo de texto é a melhor escolha. Dentro do trabalho de vídeo, a principal restrição a ter em conta é a duração: 30 segundos é o limite máximo, por isso peças mais longas têm de ser geradas em segmentos e unidas depois.