Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview は、Moondream の視覚言語モデルで、api14 では text というメインカテゴリの下に掲載されています。これは mixture-of-experts モデルで、総パラメータ数は 9B、アクティブパラメータ数は 2B です。つまり、リクエストごとにネットワークの一部だけが使われます。名前に含まれる「preview」というラベルは、これが Moondream 第 3 世代の初期バージョンであり、最終リリースではないことを示しています。画像を受け取るとしても、出力は常にテキストであるため、api14 では text カテゴリに位置しています。

このモデルはテキストと画像の入力を受け取り、テキストのみを返します。コンテキストウィンドウは 32,000 トークンで、最大出力は 4,096 トークンです。Moondream によると、視覚的質問応答、キャプション生成、OCR、画像に対する視覚的推論を処理します。サポートされるリクエストパラメータは include_reasoning、max_completion_tokens、max_tokens、reasoning、temperature、top_p です。reasoning と include_reasoning の存在は、要求したときにモデルが中間推論ステップを開示できることを示唆していますが、その出力の正確な形式はここでは指定されていません。

これらの機能は、かなり特定の一連の用途を指し示しています。視覚的質問応答は、写真やスクリーンショットの内容についてユーザーが質問し、文章による回答を得る必要があるあらゆる場面に適しています。キャプション生成は、alt テキスト、カタログ用の画像説明、視覚資料の要約の生成に適しています。OCR は、スキャン、レシート、撮影された文書など、画像からテキストを抽出し、プレーンテキストとして返すことをカバーします。視覚的推論はさらに一歩進み、グラフの解釈や画像が主張と一致するかの確認など、見えるものと質問を組み合わせて答えを導く必要があるタスクに適しています。出力はテキストのみであるため、生成画像が必要な場合にはこのモデルは適していません。

モデル id「moondream/moondream3-preview」を使用して、api14 の OpenAI 互換 API を通じて呼び出します。OpenAI chat completions 形式に対応するクライアントであればどれでも動作するはずです。model フィールドにその id を設定し、テキストプロンプトと分析したい画像を送信します。temperature と top_p でサンプリングを調整し、max_tokens または max_completion_tokens で応答を制限し、モデルの推論を表面化したい場合は reasoning または include_reasoning パラメータで推論を有効にします。

プロンプトを設計する際は、32,000 トークンのコンテキストと 4,096 トークンの出力上限を念頭に置いてください。長い文書と複数の画像を組み合わせると、ウィンドウがすぐに埋まる可能性があり、非常に長い回答は切り捨てられます。タスクが画像なしの純粋なテキストである場合、または音声や動画の入力が必要な場合、あるいは画像出力が必要な場合は、api14 上の別のモデルの方がこれより適しています。