Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview är en vision-language-modell från Moondream, listad på api14 under huvudkategorin text. Det är en mixture-of-experts-modell med 9B totala parametrar och 2B aktiva parametrar, vilket innebär att endast en del av nätverket används för varje förfrågan. Etiketten "preview" i namnet indikerar att detta är en tidig version av den tredje Moondream-generationen snarare än en slutlig release. Den ligger i textkategorin på api14 trots att den accepterar bilder, eftersom dess utdata alltid är text.

Modellen accepterar text- och bildindata och returnerar endast text. Dess kontextfönster är 32 000 tokens, och maximal utdata är 4 096 tokens. Enligt Moondream hanterar den visuell frågebesvarande, bildtextning, OCR och visuellt resonemang över bilder. Parametrar som stöds i förfrågningar är include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature och top_p. Förekomsten av reasoning och include_reasoning tyder på att modellen kan visa mellanliggande resonemangssteg när du ber om dem, även om den exakta formen på den utdatan inte specificeras här.

Dessa förmågor pekar mot en ganska specifik uppsättning arbetsuppgifter. Visuell frågebesvarande passar överallt där en användare behöver ställa frågor om innehållet i ett foto eller en skärmbild och få ett skriftligt svar. Bildtextning lämpar sig för att generera alt-text, bildbeskrivningar för kataloger eller sammanfattningar av visuellt material. OCR täcker att extrahera text ur bilder, såsom skanningar, kvitton eller fotograferade dokument, och returnera den som vanlig text. Visuellt resonemang går ett steg längre, för uppgifter där svaret beror på att kombinera det som är synligt med en fråga, såsom att tolka ett diagram eller kontrollera om en bild matchar ett påstående. Eftersom utdata endast är text är modellen inte lämplig när du behöver genererade bilder.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id "moondream/moondream3-preview". Alla klienter som talar OpenAI chat completions-formatet bör fungera; du ställer in modellfältet till det id:t och skickar din textprompt tillsammans med eventuella bilder du vill analysera. Justera sampling med temperature och top_p, begränsa svaret med max_tokens eller max_completion_tokens, och aktivera resonemang med parametrarna reasoning eller include_reasoning om du vill att modellens resonemang ska visas.

Tänk på kontexten på 32 000 tokens och utdatagränsen på 4 096 tokens när du utformar prompts: långa dokument plus flera bilder kan fylla fönstret snabbt, och mycket långa svar kommer att trunkeras. Om din uppgift är ren text utan bilder, eller du behöver ljud- eller videoindata, eller du behöver bildutdata, passar en annan modell på api14 bättre än denna.