Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview هو نموذج لغوي بصري من Moondream، مُدرج على api14 تحت الفئة الرئيسية للنص. وهو نموذج خليط من الخبراء (mixture-of-experts) بإجمالي 9 مليارات معامل و2 مليار معامل نشط، مما يعني أن جزءًا فقط من الشبكة يُستخدم لكل طلب. تشير تسمية "preview" في الاسم إلى أن هذه نسخة مبكرة من الجيل الثالث من Moondream وليست إصدارًا نهائيًا. وهو يقع في فئة النص على api14 رغم أنه يقبل الصور، لأن مخرجه نصي دائمًا.

يقبل النموذج مدخلات نصية وبصرية ويعيد نصًا فقط. نافذة السياق الخاصة به هي 32,000 رمز (token)، والحد الأقصى للمخرج هو 4,096 رمزًا. وفقًا لـ Moondream، يتعامل مع الإجابة على الأسئلة البصرية، والتسمية التوضيحية (captioning)، والتعرّف الضوئي على المحارف (OCR)، والاستدلال البصري على الصور. معاملات الطلب المدعومة هي include_reasoning وmax_completion_tokens وmax_tokens وreasoning وtemperature وtop_p. يشير وجود reasoning وinclude_reasoning إلى أن النموذج يمكنه إظهار خطوات الاستدلال الوسيطة عند طلبها، رغم أن الشكل الدقيق لهذا المخرج غير محدد هنا.

تشير هذه القدرات إلى مجموعة محددة إلى حد ما من المهام. تناسب الإجابة على الأسئلة البصرية أي موضع يحتاج فيه المستخدم إلى السؤال عن محتويات صورة أو لقطة شاشة والحصول على إجابة مكتوبة. تناسب التسمية التوضيحية توليد النص البديل (alt text)، أو أوصاف الصور للكتالوجات، أو ملخصات للمواد البصرية. يغطي التعرّف الضوئي على المحارف استخراج النص من الصور، مثل المسح الضوئي أو الإيصالات أو المستندات المصوّرة، وإعادته كنص عادي. يذهب الاستدلال البصري خطوة أبعد، للمهام التي تعتمد فيها الإجابة على الجمع بين ما هو مرئي وسؤال، مثل تفسير مخطط أو التحقق مما إذا كانت صورة تطابق ادعاءً ما. ولأن المخرج نصي فقط، فإن النموذج غير مناسب عندما تحتاج إلى صور مُولّدة.

يمكنك استدعاؤه عبر واجهة API المتوافقة مع OpenAI الخاصة بـ api14 باستخدام معرّف النموذج "moondream/moondream3-preview". يجب أن يعمل أي عميل يتحدث صيغة chat completions الخاصة بـ OpenAI؛ تضبط حقل model على ذلك المعرّف وترسل موجّهك النصي مع أي صور تريد تحليلها. اضبط أخذ العينات باستخدام temperature وtop_p، وحدّد سقف الاستجابة باستخدام max_tokens أو max_completion_tokens، وفعّل الاستدلال باستخدام معاملات reasoning أو include_reasoning إذا أردت إظهار استدلال النموذج.

ضع في اعتبارك سياق 32,000 رمز وسقف المخرج البالغ 4,096 رمزًا عند تصميم الموجّهات: المستندات الطويلة مع عدة صور يمكن أن تملأ النافذة بسرعة، وسيتم اقتطاع الإجابات الطويلة جدًا. إذا كانت مهمتك نصية بحتة بدون صور، أو كنت تحتاج إلى مدخلات صوتية أو مرئية (فيديو)، أو كنت تحتاج إلى مخرج صور، فإن نموذجًا آخر على api14 سيكون أنسب من هذا النموذج.