Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview è un modello visione-linguaggio di Moondream, elencato su api14 sotto la categoria principale text. È un modello mixture-of-experts con 9B parametri totali e 2B parametri attivi, il che significa che solo una parte della rete viene coinvolta per ogni richiesta. L'etichetta "preview" nel nome indica che si tratta di una versione iniziale della terza generazione di Moondream e non di una release finale. Si colloca nella categoria text su api14 anche se accetta immagini, perché il suo output è sempre testo.

Il modello accetta input di testo e immagini e restituisce solo testo. La sua finestra di contesto è di 32.000 token, e l'output massimo è di 4.096 token. Secondo Moondream, gestisce visual question answering, captioning, OCR e ragionamento visivo sulle immagini. I parametri di richiesta supportati sono include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature e top_p. La presenza di reasoning e include_reasoning suggerisce che il modello può esporre passaggi di ragionamento intermedi quando li richiedi, anche se la forma esatta di quell'output non è specificata qui.

Queste capacità indicano un insieme piuttosto specifico di compiti. Il visual question answering è adatto ovunque un utente debba chiedere informazioni sul contenuto di una foto o di uno screenshot e ottenere una risposta scritta. Il captioning è adatto per generare testo alternativo, descrizioni di immagini per cataloghi o riassunti di materiale visivo. L'OCR copre l'estrazione di testo dalle immagini, come scansioni, ricevute o documenti fotografati, e la sua restituzione come testo semplice. Il ragionamento visivo va oltre, per attività in cui la risposta dipende dalla combinazione di ciò che è visibile con una domanda, come interpretare un grafico o verificare se un'immagine corrisponde a un'affermazione. Poiché l'output è solo testo, il modello non è adatto quando hai bisogno di immagini generate.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "moondream/moondream3-preview". Qualsiasi client che parli il formato chat completions di OpenAI dovrebbe funzionare; imposti il campo model su quell'id e invii il tuo prompt testuale insieme a tutte le immagini che vuoi analizzare. Regola il campionamento con temperature e top_p, limita la risposta con max_tokens o max_completion_tokens, e abilita il ragionamento con i parametri reasoning o include_reasoning se vuoi che il ragionamento del modello venga mostrato.

Tieni a mente il contesto di 32.000 token e il limite di output di 4.096 token quando progetti i prompt: documenti lunghi più diverse immagini possono riempire rapidamente la finestra, e risposte molto lunghe verranno troncate. Se il tuo compito è puro testo senza immagini, o hai bisogno di input audio o video, o hai bisogno di output di immagini, un modello diverso su api14 sarà più adatto di questo.