Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview ist ein Vision-Language-Modell von Moondream, das auf api14 unter der Hauptkategorie Text gelistet ist. Es ist ein Mixture-of-Experts-Modell mit insgesamt 9B Parametern und 2B aktiven Parametern, was bedeutet, dass pro Anfrage nur ein Teil des Netzwerks aktiviert wird. Die Bezeichnung "preview" im Namen zeigt an, dass dies eine frühe Version der dritten Moondream-Generation und keine finale Veröffentlichung ist. Es steht auf api14 in der Kategorie Text, obwohl es Bilder akzeptiert, weil seine Ausgabe immer Text ist.

Das Modell akzeptiert Text- und Bildeingaben und gibt ausschließlich Text zurück. Sein Kontextfenster umfasst 32.000 Token, und die maximale Ausgabe beträgt 4.096 Token. Laut Moondream bewältigt es visuelle Fragebeantwortung, Bildbeschreibung, OCR und visuelles Reasoning über Bilder. Unterstützte Anfrageparameter sind include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature und top_p. Das Vorhandensein von reasoning und include_reasoning deutet darauf hin, dass das Modell Zwischenschritte des Reasonings offenlegen kann, wenn man sie anfordert, wobei die genaue Form dieser Ausgabe hier nicht spezifiziert wird.

Diese Fähigkeiten weisen auf eine recht spezifische Gruppe von Aufgaben hin. Visuelle Fragebeantwortung passt überall dort, wo ein Nutzer Fragen zum Inhalt eines Fotos oder Screenshots stellen und eine schriftliche Antwort erhalten muss. Bildbeschreibung eignet sich für die Erzeugung von Alt-Text, Bildbeschreibungen für Kataloge oder Zusammenfassungen von visuellem Material. OCR deckt das Extrahieren von Text aus Bildern ab, etwa aus Scans, Belegen oder fotografierten Dokumenten, und die Rückgabe als reinen Text. Visuelles Reasoning geht einen Schritt weiter, für Aufgaben, bei denen die Antwort davon abhängt, das Sichtbare mit einer Frage zu kombinieren, etwa beim Interpretieren eines Diagramms oder beim Prüfen, ob ein Bild zu einer Behauptung passt. Da die Ausgabe ausschließlich Text ist, ist das Modell nicht geeignet, wenn man generierte Bilder benötigt.

Man ruft es über die OpenAI-kompatible API von api14 mit der Modell-ID "moondream/moondream3-preview" auf. Jeder Client, der das OpenAI-Chat-Completions-Format spricht, sollte funktionieren; man setzt das Feld model auf diese ID und sendet den Text-Prompt zusammen mit allen Bildern, die analysiert werden sollen. Das Sampling lässt sich mit temperature und top_p steuern, die Antwort mit max_tokens oder max_completion_tokens begrenzen, und das Reasoning mit den Parametern reasoning oder include_reasoning aktivieren, wenn man das Reasoning des Modells sichtbar machen möchte.

Beim Entwerfen von Prompts sollte man den Kontext von 32.000 Token und die Ausgabegrenze von 4.096 Token beachten: Lange Dokumente plus mehrere Bilder können das Fenster schnell füllen, und sehr lange Antworten werden abgeschnitten. Wenn die Aufgabe reiner Text ohne Bilder ist, oder man Audio- oder Videoeingabe benötigt, oder man Bildausgabe braucht, passt ein anderes Modell auf api14 besser als dieses.