Gemini Omni 1.2 Flash est un modèle multimodal natif de Google, présenté comme le successeur de Gemini Omni 1.1 Flash. Il se situe dans la catégorie vidéo tout en traitant également le texte, il est donc conçu pour les travaux qui combinent la compréhension du langage avec la génération et l'édition vidéo plutôt que pour le texte seul.
Le modèle accepte le texte, les images et la vidéo en entrée, et il peut renvoyer du texte ou de la vidéo en sortie. Sa fenêtre de contexte est de 131 072 tokens, avec une sortie maximale de 65 536 tokens. Côté vidéo, il prend en charge les résolutions 360p, 720p, 1080p et 4K, les ratios d'aspect 16:9 et 9:16, et des durées de clip de 3 à 15 secondes. Vous pouvez fournir une première image, une dernière image, ou les deux, et la génération audio est disponible. Les contrôles de raisonnement font partie de l'ensemble des paramètres, ce qui signifie que le modèle peut exposer son processus de raisonnement lorsque vous le demandez.
Ces capacités correspondent à un ensemble de tâches assez spécifique. Comme il prend la vidéo en entrée en plus de la produire, il convient aux travaux d'édition et de transformation : restyler des séquences existantes, prolonger ou ajuster un clip, ou régénérer des segments tout en gardant le matériel environnant cohérent. Les entrées de première et dernière image le rendent utile pour les transitions contrôlées et pour faire correspondre un plan à un début et une fin planifiés. Les deux ratios d'aspect couvrent à la fois la diffusion en paysage et les formats verticaux, et la plage de résolutions vous permet d'itérer rapidement à des résolutions inférieures avant de rendre une version finale en 1080p ou 4K. La génération audio signifie que vous pouvez produire un clip court complet sans passe sonore séparée. L'entrée texte associée à la sortie vidéo convient également au travail de storyboard ou de concept guidé par des prompts, où vous décrivez une scène et obtenez un court clip en retour.
Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "google/gemini-omni-1.2-flash". Les paramètres de requête pris en charge sont include_reasoning, max_tokens, reasoning, reasoning_effort, seed, temperature et top_p. Le paramètre seed est utile lorsque vous voulez une sortie reproductible d'une exécution à l'autre, et temperature et top_p vous donnent le contrôle sur le degré de variation entre les générations. Les paramètres de raisonnement vous permettent de décider si le raisonnement est exposé et combien d'effort y est consacré.
Gardez le plafond de sortie à l'esprit : 65 536 tokens est la sortie maximale, et les clips sont limités à 15 secondes, donc les séquences plus longues doivent être construites à partir de plusieurs générations. Si votre tâche est purement de la génération de texte sans composante vidéo, un modèle axé sur le texte conviendra probablement mieux. Pour les travaux qui mêlent langage et génération ou édition de vidéos courtes, ce modèle couvre tout le chemin du prompt au clip finalisé.