Moondream: Moondream 3.1

Moondream: Moondream 3.1 هو نموذج لغوي بصري من Moondream، وهو الفريق نفسه الذي يقف وراء إصدارات Moondream السابقة. وهو خليفة Moondream 3 Preview، ويستخدم تصميماً قائماً على مزيج الخبراء (mixture-of-experts) بإجمالي 9B معاملات و2B معاملات نشطة. ويعني هذا المزيج أن النموذج يحمل سعة إجمالية كبيرة بينما ينشّط شريحة أصغر منها فقط لكل طلب، وهي طريقة شائعة للحفاظ على كفاءة الاستدلال دون تقليص معرفة النموذج. وهو يقع في فئة النصوص على api14، لكن سِمته المميزة أنه يقرأ الصور إلى جانب النصوص.

على جانب المدخلات، يقبل Moondream 3.1 النصوص والصور معاً، وينتج نصوصاً فقط. نافذة السياق لديه 32,000 رمز، والحد الأقصى لطول المخرجات 4,096 رمزاً. ويصف المزوّد النموذج بأنه يغطي الإجابة على الأسئلة البصرية، وكتابة التسميات التوضيحية، والتعرّف الضوئي على المحارف (OCR)، إلى جانب مهام أخرى. وهذه هي سلوكيات اللغة البصرية الأساسية: الإجابة عن أسئلة حول ما يوجد في صورة، وإنشاء وصف مكتوب لصورة، واستخراج النص الظاهر داخل صورة. ولأن نافذة السياق مشتركة بين مدخل الصورة والنص التوجيهي، فإن الصور الأكبر أو الأكثر عدداً تترك مساحة أقل للتعليمات وسجل المحادثة.

تتبع حالات الاستخدام العملية هذه القدرات مباشرة. تناسب الإجابة على الأسئلة البصرية الأدوات التفاعلية حيث يرفع المستخدم صورة أو لقطة شاشة ويسأل عن محتواها. وتناسب كتابة التسميات التوضيحية خطوط المعالجة التي تحتاج إلى نص بديل، أو أوصاف وسائط، أو ملخصات قصيرة لأصول الصور. ويفيد التعرّف الضوئي على المحارف في استخراج النص من المسح الضوئي، أو لقطات الشاشة، أو النماذج، أو صور المستندات، وفي تغذية ذلك النص إلى خطوات لاحقة. ولأن النموذج يستقبل أيضاً نصاً عادياً، فإنه يستطيع التعامل مع طلب مختلط يصل فيه التوجيه والصورة معاً، مما يبقي التكامل بسيطاً لسير عمل مراجعة المستندات والصور.

يمكنك استدعاؤه عبر واجهة api14 المتوافقة مع OpenAI باستخدام معرّف النموذج "moondream/moondream3.1-9b-a2b". معاملات الطلب المدعومة هي include_reasoning وmax_completion_tokens وmax_tokens وreasoning وtemperature وtop_p. يتحكم temperature وtop_p في أخذ العينات، بينما تحدد معاملات الرموز حد طول الاستجابة المولّدة. وترتبط معاملات reasoning وinclude_reasoning بإظهار سلوك الاستدلال لدى النموذج، لذا تحقق من كيفية تعامل عميلك معها إذا لم تكن بحاجة إلى ذلك المخرج. ولأن الواجهة متوافقة مع OpenAI، فإن مجموعات أدوات التطوير الحالية وأشكال الطلبات بنمط المحادثة تعمل عموماً دون تغييرات تتجاوز معرّف النموذج ومحتوى الصورة في الرسالة.

ضع الحدود في اعتبارك عند اختيار هذا النموذج. سياق 32,000 رمز وسقف المخرجات البالغ 4,096 رمزاً هما الحدّان الصارمان، لذا قد تحتاج المستندات الطويلة جداً أو المحادثات الطويلة متعددة الأدوار حول الصور إلى التقسيم أو التقليم. المخرجات نصية فقط، لذا لن يولّد الصور أو يحرّرها. وإذا كانت مهمتك نصية بحتة ولا تتضمن صوراً، فقد يكون نموذج نصي فقط أنسب؛ ويكون Moondream 3.1 أكثر قيمة عندما يحتوي الطلب فعلاً على صورة تحتاج إلى تفسير.