Moondream: Moondream 3.1

Moondream: Moondream 3.1 ist ein Vision-Language-Modell von Moondream, demselben Team hinter den früheren Moondream-Veröffentlichungen. Es ist der Nachfolger von Moondream 3 Preview und verwendet ein Mixture-of-Experts-Design mit 9B Gesamtparametern und 2B aktiven Parametern. Diese Kombination bedeutet, dass das Modell eine große Gesamtkapazität trägt, während pro Anfrage nur ein kleinerer Teil davon aktiviert wird, was eine gängige Methode ist, um die Inferenz effizient zu halten, ohne das Wissen des Modells zu verkleinern. Auf api14 liegt es in der Textkategorie, aber sein bestimmendes Merkmal ist, dass es Bilder ebenso wie Text liest.

Auf der Eingabeseite akzeptiert Moondream 3.1 sowohl Text als auch Bilder und erzeugt ausschließlich Text. Sein Kontextfenster beträgt 32.000 Token, und die maximale Ausgabelänge beträgt 4.096 Token. Der Anbieter beschreibt das Modell als abdeckend für visuelle Fragebeantwortung, Bildbeschriftung und OCR, unter anderem. Das sind die zentralen Vision-Language-Verhaltensweisen: Fragen dazu beantworten, was in einem Bild zu sehen ist, eine schriftliche Beschreibung eines Bildes generieren und Text extrahieren, der in einem Bild erscheint. Da das Kontextfenster zwischen der Bild eingabe und dem Text-Prompt geteilt wird, lassen größere oder zahlreichere Bilder weniger Raum für Anweisungen und Gesprächsverlauf.

Die praktischen Anwendungsfälle ergeben sich direkt aus diesen Fähigkeiten. Visuelle Fragebeantwortung eignet sich für interaktive Werkzeuge, bei denen ein Benutzer ein Foto oder einen Screenshot hochlädt und nach dessen Inhalt fragt. Bildbeschriftung passt zu Pipelines, die Alt-Text, Medienbeschreibungen oder kurze Zusammenfassungen von Bildressourcen benötigen. OCR ist nützlich, um Text aus Scans, Screenshots, Formularen oder Fotografien von Dokumenten herauszuziehen und diesen Text in spätere Schritte einzuspeisen. Da das Modell auch gewöhnlichen Text annimmt, kann es einen gemischten Prompt verarbeiten, bei dem die Anweisung und das Bild zusammen eintreffen, was die Integration für Dokumenten- und Bildprüfungs-Workflows einfach hält.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "moondream/moondream3.1-9b-a2b" auf. Die unterstützten Anfrageparameter sind include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature und top_p. Temperature und top_p steuern das Sampling, während die Token-Parameter die Länge der generierten Antwort begrenzen. Die Parameter reasoning und include_reasoning beziehen sich auf die Offenlegung des Reasoning-Verhaltens des Modells, prüfen Sie also, wie Ihr Client damit umgeht, wenn Sie diese Ausgabe nicht benötigen. Da die Schnittstelle OpenAI-kompatibel ist, funktionieren vorhandene SDKs und chat-artige Anfrageformen im Allgemeinen ohne Änderungen über die Modell-ID und den Bildinhalt in der Nachricht hinaus.

Beachten Sie die Grenzen bei der Wahl dieses Modells. Der Kontext von 32.000 Token und die Obergrenze der Ausgabe von 4.096 Token sind die harten Grenzen, daher können sehr lange Dokumente oder lange mehrstufige Bildgespräche ein Aufteilen oder Kürzen erfordern. Die Ausgabe ist ausschließlich Text, daher wird es keine Bilder generieren oder bearbeiten. Wenn Ihre Aufgabe rein textbasiert ist und keine Bilder umfasst, könnte ein reines Textmodell einfacher passen; Moondream 3.1 ist am wertvollsten, wenn die Anfrage tatsächlich ein zu interpretierendes Bild enthält.