Moondream: Moondream 3.1

Moondream : Moondream 3.1 est un modèle vision-langage de Moondream, la même équipe derrière les versions précédentes de Moondream. Il succède à Moondream 3 Preview et utilise une conception mixture-of-experts avec 9B paramètres au total et 2B paramètres actifs. Cette combinaison signifie que le modèle possède une grande capacité globale tout en n'activant qu'une plus petite partie par requête, ce qui est un moyen courant de maintenir une inférence efficace sans réduire les connaissances du modèle. Il se situe dans la catégorie texte sur api14, mais son trait distinctif est qu'il lit les images aussi bien que le texte.

Du côté de l'entrée, Moondream 3.1 accepte à la fois le texte et les images, et il produit uniquement du texte. Sa fenêtre de contexte est de 32 000 tokens, et la longueur maximale de sortie est de 4 096 tokens. Le fournisseur décrit le modèle comme couvrant la réponse aux questions visuelles, la légendage et l'OCR, entre autres tâches. Ce sont les comportements fondamentaux de vision-langage : répondre à des questions sur le contenu d'une image, générer une description écrite d'une image, et extraire le texte apparaissant dans une image. Comme la fenêtre de contexte est partagée entre l'entrée image et le prompt texte, des images plus grandes ou plus nombreuses laissent moins de place aux instructions et à l'historique de conversation.

Les cas d'usage pratiques découlent directement de ces capacités. La réponse aux questions visuelles convient aux outils interactifs où un utilisateur télécharge une photo ou une capture d'écran et pose des questions sur son contenu. Le légendage correspond aux pipelines qui ont besoin de texte alternatif, de descriptions de médias ou de résumés courts de ressources image. L'OCR est utile pour extraire du texte à partir de scans, de captures d'écran, de formulaires ou de photographies de documents, et pour alimenter ce texte dans les étapes suivantes. Comme le modèle accepte aussi du texte ordinaire, il peut traiter un prompt mixte où l'instruction et l'image arrivent ensemble, ce qui simplifie l'intégration pour les flux de travail de révision de documents et d'images.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "moondream/moondream3.1-9b-a2b". Les paramètres de requête pris en charge sont include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature et top_p. Temperature et top_p contrôlent l'échantillonnage, tandis que les paramètres de tokens plafonnent la longueur de la réponse générée. Les paramètres reasoning et include_reasoning concernent l'exposition du comportement de raisonnement du modèle, donc vérifiez comment votre client les gère si vous n'avez pas besoin de cette sortie. Comme l'interface est compatible OpenAI, les SDK existants et les formes de requête de type chat fonctionnent généralement sans modification au-delà de l'identifiant de modèle et du contenu image dans le message.

Gardez les limites à l'esprit lors du choix de ce modèle. Le contexte de 32 000 tokens et le plafond de sortie de 4 096 tokens sont les limites strictes, donc des documents très longs ou de longues conversations multi-tours avec images peuvent nécessiter un découpage ou un élagage. La sortie est uniquement du texte, donc il ne générera ni ne modifiera d'images. Si votre tâche est purement textuelle et n'implique pas d'images, un modèle texte uniquement peut être plus adapté ; Moondream 3.1 est surtout précieux lorsque la requête contient réellement une image à interpréter.