Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview adalah model vision-language dari Moondream, terdaftar di api14 di bawah kategori utama text. Ini adalah model mixture-of-experts dengan total 9B parameter dan 2B parameter aktif, yang berarti hanya sebagian jaringan yang digunakan untuk setiap permintaan. Label "preview" pada nama menunjukkan bahwa ini adalah versi awal dari generasi ketiga Moondream, bukan rilis final. Model ini berada di kategori text di api14 meskipun menerima gambar, karena outputnya selalu berupa teks.

Model ini menerima input teks dan gambar serta hanya mengembalikan teks. Context window-nya adalah 32.000 token, dan output maksimumnya adalah 4.096 token. Menurut Moondream, model ini menangani visual question answering, captioning, OCR, dan visual reasoning pada gambar. Parameter permintaan yang didukung adalah include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature, dan top_p. Adanya reasoning dan include_reasoning menunjukkan bahwa model dapat menampilkan langkah penalaran perantara saat Anda memintanya, meskipun bentuk pasti dari output tersebut tidak ditentukan di sini.

Kemampuan tersebut mengarah pada serangkaian pekerjaan yang cukup spesifik. Visual question answering cocok di mana pun pengguna perlu bertanya tentang isi foto atau screenshot dan mendapatkan jawaban tertulis. Captioning cocok untuk menghasilkan alt text, deskripsi gambar untuk katalog, atau ringkasan materi visual. OCR mencakup pengambilan teks dari gambar, seperti hasil scan, struk, atau dokumen yang difoto, dan mengembalikannya sebagai teks biasa. Visual reasoning melangkah lebih jauh, untuk tugas di mana jawabannya bergantung pada penggabungan apa yang terlihat dengan sebuah pertanyaan, seperti menafsirkan grafik atau memeriksa apakah sebuah gambar sesuai dengan klaim. Karena outputnya hanya teks, model ini tidak cocok ketika Anda membutuhkan gambar yang dihasilkan.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "moondream/moondream3-preview". Klien apa pun yang mendukung format chat completions OpenAI seharusnya berfungsi; Anda mengatur field model ke id tersebut dan mengirim prompt teks Anda beserta gambar apa pun yang ingin dianalisis. Atur sampling dengan temperature dan top_p, batasi respons dengan max_tokens atau max_completion_tokens, dan aktifkan reasoning dengan parameter reasoning atau include_reasoning jika Anda ingin penalaran model ditampilkan.

Ingatlah context 32.000 token dan batas output 4.096 token saat merancang prompt: dokumen panjang ditambah beberapa gambar dapat memenuhi window dengan cepat, dan jawaban yang sangat panjang akan terpotong. Jika tugas Anda murni teks tanpa gambar, atau Anda membutuhkan input audio atau video, atau Anda membutuhkan output gambar, model lain di api14 akan lebih cocok daripada model ini.