Moondream: Moondream 3.1

Moondream: Moondream 3.1 è un modello visione-linguaggio di Moondream, lo stesso team dietro le precedenti release di Moondream. È il successore di Moondream 3 Preview e utilizza un design mixture-of-experts con 9B parametri totali e 2B parametri attivi. Questa combinazione significa che il modello possiede una grande capacità complessiva pur attivandone solo una porzione minore per richiesta, che è un modo comune per mantenere l'inferenza efficiente senza ridurre la conoscenza del modello. Si colloca nella categoria testo su api14, ma il suo tratto distintivo è che legge immagini oltre che testo.

Sul lato input, Moondream 3.1 accetta sia testo che immagini e produce solo testo. La sua finestra di contesto è di 32.000 token e la lunghezza massima di output è di 4.096 token. Il provider descrive il modello come in grado di coprire visual question answering, captioning e OCR, tra gli altri compiti. Questi sono i comportamenti core visione-linguaggio: rispondere a domande su cosa c'è in un'immagine, generare una descrizione scritta di un'immagine ed estrarre testo che appare all'interno di un'immagine. Poiché la finestra di contesto è condivisa tra l'input immagine e il prompt testuale, immagini più grandi o più numerose lasciano meno spazio per istruzioni e cronologia della conversazione.

I casi d'uso pratici derivano direttamente da queste capacità. Il visual question answering si adatta a strumenti interattivi in cui un utente carica una foto o uno screenshot e chiede informazioni sul suo contenuto. Il captioning si adatta a pipeline che necessitano di alt text, descrizioni media o brevi riassunti di asset immagine. L'OCR è utile per estrarre testo da scansioni, screenshot, moduli o fotografie di documenti e per alimentare quel testo negli step successivi. Poiché il modello accetta anche testo ordinario, può gestire un prompt misto in cui istruzione e immagine arrivano insieme, il che mantiene semplice l'integrazione per i flussi di lavoro di revisione documenti e immagini.

Lo si chiama tramite l'API compatibile OpenAI di api14 usando il model id "moondream/moondream3.1-9b-a2b". I parametri di richiesta supportati sono include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature e top_p. Temperature e top_p controllano il campionamento, mentre i parametri token limitano la lunghezza della risposta generata. I parametri reasoning e include_reasoning riguardano l'esposizione del comportamento di ragionamento del modello, quindi verifica come il tuo client li gestisce se non hai bisogno di quell'output. Poiché l'interfaccia è compatibile OpenAI, gli SDK esistenti e le forme di richiesta in stile chat generalmente funzionano senza modifiche oltre al model id e al contenuto immagine nel messaggio.

Tieni presenti i limiti quando scegli questo modello. Il contesto di 32.000 token e il tetto di output di 4.096 token sono i confini rigidi, quindi documenti molto lunghi o conversazioni multi-turno lunghe con immagini possono richiedere chunking o trimming. L'output è solo testo, quindi non genererà o modificherà immagini. Se il tuo compito è puramente testuale e non coinvolge immagini, un modello solo testo può essere una scelta più semplice; Moondream 3.1 è più prezioso quando la richiesta contiene effettivamente un'immagine da interpretare.