Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview, Moondream tarafından geliştirilen bir görsel-dil modelidir ve api14 üzerinde text ana kategorisi altında listelenmiştir. Toplam 9B parametreye ve 2B aktif parametreye sahip bir mixture-of-experts modelidir, yani her istek için ağın yalnızca bir kısmı devreye girer. İsimdeki "preview" etiketi, bunun üçüncü Moondream neslinin nihai sürümü değil, erken bir sürümü olduğunu gösterir. Görüntü kabul etmesine rağmen api14 üzerinde text kategorisinde yer alır, çünkü çıktısı her zaman metindir.

Model, metin ve görüntü girdilerini kabul eder ve yalnızca metin döndürür. Bağlam penceresi 32.000 token'dır ve maksimum çıktı 4.096 token'dır. Moondream'e göre görsel soru yanıtlama, açıklama oluşturma, OCR ve görüntüler üzerinde görsel akıl yürütme işlemlerini gerçekleştirir. Desteklenen istek parametreleri include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature ve top_p'dir. reasoning ve include_reasoning parametrelerinin varlığı, istediğinizde modelin ara akıl yürütme adımlarını açığa çıkarabildiğini gösterir, ancak bu çıktının tam biçimi burada belirtilmemiştir.

Bu yetenekler oldukça belirli bir iş kümesine işaret eder. Görsel soru yanıtlama, bir kullanıcının bir fotoğrafın veya ekran görüntüsünün içeriği hakkında soru sorup yazılı yanıt alması gereken her yere uyar. Açıklama oluşturma, alt metin, kataloglar için görüntü açıklamaları veya görsel materyallerin özetlerini üretmek için uygundur. OCR, taramalar, fişler veya fotoğraflanan belgeler gibi görüntülerden metin çıkarıp bunu düz metin olarak döndürmeyi kapsar. Görsel akıl yürütme bir adım daha ileri gider; yanıtın görünenlerle bir soruyu birleştirmeye bağlı olduğu görevler için, örneğin bir grafiği yorumlamak veya bir görüntünün bir iddiayla eşleşip eşleşmediğini kontrol etmek gibi. Çıktı yalnızca metin olduğundan, üretilmiş görüntülere ihtiyaç duyduğunuzda model uygun değildir.

Modele api14'ün OpenAI uyumlu API'si üzerinden "moondream/moondream3-preview" model id'sini kullanarak erişirsiniz. OpenAI chat completions biçimini destekleyen herhangi bir istemci çalışmalıdır; model alanını bu id'ye ayarlayıp metin isteminizi ve analiz edilmesini istediğiniz görüntüleri gönderirsiniz. Örneklemeyi temperature ve top_p ile ayarlayın, yanıtı max_tokens veya max_completion_tokens ile sınırlayın ve modelin akıl yürütmesinin ortaya çıkarılmasını istiyorsanız reasoning veya include_reasoning parametreleriyle akıl yürütmeyi etkinleştirin.

İstemleri tasarlarken 32.000 token bağlamı ve 4.096 token çıktı sınırını aklınızda tutun: uzun belgeler artı birkaç görüntü pencereyi hızla doldurabilir ve çok uzun yanıtlar kesilecektir. Göreviniz görüntüsüz saf metinse, ya da ses veya video girdisine ihtiyacınız varsa, ya da görüntü çıktısına ihtiyacınız varsa, api14 üzerindeki farklı bir model bu modelden daha uygun olacaktır.