Moondream: Moondream 3 Preview

Moondream : Moondream 3 Preview est un modèle vision-langage de Moondream, listé sur api14 dans la catégorie principale texte. C'est un modèle à mélange d'experts avec 9B paramètres au total et 2B paramètres actifs, ce qui signifie qu'une partie seulement du réseau est sollicitée pour chaque requête. Le label "preview" dans le nom indique qu'il s'agit d'une version précoce de la troisième génération Moondream plutôt que d'une version finale. Il figure dans la catégorie texte sur api14 même s'il accepte des images, car sa sortie est toujours du texte.

Le modèle accepte des entrées texte et image et renvoie uniquement du texte. Sa fenêtre de contexte est de 32 000 tokens, et la sortie maximale est de 4 096 tokens. Selon Moondream, il gère la réponse à des questions visuelles, la légende d'images, l'OCR et le raisonnement visuel sur des images. Les paramètres de requête pris en charge sont include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature et top_p. La présence de reasoning et include_reasoning suggère que le modèle peut exposer des étapes de raisonnement intermédiaires lorsque vous les demandez, bien que la forme exacte de cette sortie ne soit pas précisée ici.

Ces capacités correspondent à un ensemble de tâches assez spécifique. La réponse à des questions visuelles convient partout où un utilisateur a besoin d'interroger le contenu d'une photo ou d'une capture d'écran et d'obtenir une réponse écrite. La légende d'images convient pour générer du texte alternatif, des descriptions d'images pour des catalogues, ou des résumés de contenu visuel. L'OCR couvre l'extraction de texte à partir d'images, comme des scans, des reçus ou des documents photographiés, et son renvoi sous forme de texte brut. Le raisonnement visuel va plus loin, pour les tâches où la réponse dépend de la combinaison de ce qui est visible avec une question, comme l'interprétation d'un graphique ou la vérification qu'une image correspond à une affirmation. Comme la sortie est uniquement du texte, le modèle ne convient pas lorsque vous avez besoin d'images générées.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "moondream/moondream3-preview". Tout client qui parle le format chat completions d'OpenAI devrait fonctionner ; vous définissez le champ model sur cet identifiant et envoyez votre prompt texte avec les images que vous souhaitez analyser. Réglez l'échantillonnage avec temperature et top_p, limitez la réponse avec max_tokens ou max_completion_tokens, et activez le raisonnement avec les paramètres reasoning ou include_reasoning si vous voulez que le raisonnement du modèle soit exposé.

Gardez à l'esprit le contexte de 32 000 tokens et la limite de sortie de 4 096 tokens lorsque vous concevez des prompts : de longs documents plus plusieurs images peuvent remplir la fenêtre rapidement, et les réponses très longues seront tronquées. Si votre tâche est du texte pur sans images, ou si vous avez besoin d'une entrée audio ou vidéo, ou si vous avez besoin d'une sortie image, un autre modèle sur api14 conviendra mieux que celui-ci.