Alibaba: HappyHorse 1.1

Alibaba: HappyHorse 1.1 é um modelo de geração de vídeo da Alibaba. Ele está na categoria de vídeo, e sua função é transformar suas entradas em clipes de vídeo curtos, em vez de texto ou imagens estáticas. Se você está construindo um produto que precisa de conteúdo de movimento gerado e já trabalha com modelos da Alibaba ou com uma stack compatível com OpenAI, este é o modelo a avaliar para essa posição.

O modelo aceita entradas de texto e imagem e produz vídeo como sua única saída. Você pode conduzi-lo apenas com um prompt de texto, com uma única imagem inicial, ou com um conjunto de imagens de referência. A saída está disponível em 720p e 1080p, e você pode escolher entre uma ampla variedade de proporções: 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 e 9:21. As durações dos clipes vão de 3 a 15 segundos em passos de um segundo, então você pode solicitar desde um loop muito curto até uma tomada de quinze segundos. O primeiro quadro da saída pode ser ancorado a uma imagem fornecida. Nenhum comprimento de contexto é publicado para este modelo, o que é esperado para um gerador de vídeo, já que as restrições relevantes são resolução, proporção e duração, e não uma janela de tokens.

Essas capacidades apontam para um conjunto bastante específico de usos. Proporções verticais como 9:16 e 9:21 servem para redes sociais de formato curto e posicionamentos móveis, enquanto 16:9 e 21:9 se encaixam em enquadramento widescreen e cinematográfico. Uma única imagem inicial é útil quando você quer animar uma imagem estática, por exemplo, colocando em movimento a foto de um produto ou o retrato de um personagem. Imagens de referência ajudam quando você precisa de consistência ao longo de uma tomada ou quer que o modelo siga um estilo visual que você fornece. A faixa de 3 a 15 segundos cobre anúncios sociais, clipes de teaser, storyboards animados e filmagens de fundo curtas. Como as durações são selecionáveis por segundo, você pode iterar primeiro em um clipe curto e estendê-lo quando o movimento parecer certo.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "alibaba/happyhorse-1.1". Os parâmetros de requisição suportados são max_tokens, presence_penalty, response_format, seed, temperature e top_p. Vale a pena definir seed quando você quer gerações reproduzíveis, e temperature e top_p dão a você controle sobre a variação entre execuções. Os parâmetros restantes seguem as mesmas convenções de outros endpoints compatíveis com OpenAI, então bibliotecas de cliente e formatos de requisição existentes devem funcionar com mudanças mínimas.

Há algumas coisas a ter em mente ao decidir. O comprimento da saída é limitado a 15 segundos, então qualquer coisa mais longa precisa ser montada a partir de múltiplas gerações. Apenas o primeiro quadro pode ser ancorado a uma imagem, e a geração de áudio não é especificada, então planeje adicionar sua própria trilha sonora se o clipe precisar de uma. Se sua tarefa é geração de texto, geração de imagem ou edição, em vez de vídeo, um modelo em uma dessas categorias se encaixará melhor.