Moondream: Moondream 3.1

Moondream: Moondream 3.1 は、以前の Moondream リリースを手がけた同じチームによる Moondream の視覚言語モデルです。これは Moondream 3 Preview の後継であり、9B の総パラメータと 2B のアクティブパラメータを持つ mixture-of-experts 設計を採用しています。この組み合わせにより、モデルは全体として大きな容量を持ちながら、リクエストごとにその一部のみをアクティブ化します。これは、モデルの知識を縮小せずに推論を効率的に保つ一般的な方法です。api14 ではテキストカテゴリに位置しますが、その決定的な特徴は、テキストだけでなく画像も読み取ることです。

入力側では、Moondream 3.1 はテキストと画像の両方を受け付け、テキストのみを生成します。コンテキストウィンドウは 32,000 トークンで、最大出力長は 4,096 トークンです。プロバイダーは、このモデルが視覚的質問応答、キャプション生成、OCR などのタスクをカバーすると説明しています。これらは中核となる視覚言語の動作です。つまり、画像内にあるものについての質問に答えること、画像の書面による説明を生成すること、画像内に現れるテキストを抽出することです。コンテキストウィンドウは画像入力とテキストプロンプトの間で共有されるため、画像が大きいほど、または数が多いほど、指示や会話履歴のための余地が少なくなります。

実用的なユースケースは、これらの機能から直接導かれます。視覚的質問応答は、ユーザーが写真やスクリーンショットをアップロードしてその内容について質問するインタラクティブなツールに適しています。キャプション生成は、alt テキスト、メディアの説明、または画像アセットの短い要約を必要とするパイプラインに適合します。OCR は、スキャン、スクリーンショット、フォーム、または文書の写真からテキストを抽出し、そのテキストを後続のステップに渡すのに役立ちます。このモデルは通常のテキストも受け付けるため、指示と画像が一緒に届く混合プロンプトを処理でき、文書や画像のレビューワークフローの統合をシンプルに保ちます。

これは、モデル id "moondream/moondream3.1-9b-a2b" を使用して api14 の OpenAI 互換 API を通じて呼び出します。サポートされているリクエストパラメータは、include_reasoning、max_completion_tokens、max_tokens、reasoning、temperature、top_p です。temperature と top_p はサンプリングを制御し、トークンパラメータは生成される応答の長さを制限します。reasoning と include_reasoning パラメータはモデルの推論動作を公開することに関連するため、その出力が不要な場合はクライアントがそれらをどのように処理するかを確認してください。インターフェースは OpenAI 互換であるため、既存の SDK とチャット形式のリクエスト形状は、モデル id とメッセージ内の画像コンテンツ以外は変更なしで一般的に機能します。

このモデルを選択する際は、制限に留意してください。32,000 トークンのコンテキストと 4,096 トークンの出力上限は厳格な境界であるため、非常に長い文書や長いマルチターンの画像会話では、チャンク化やトリミングが必要になる場合があります。出力はテキストのみであるため、画像を生成したり編集したりすることはありません。タスクが純粋にテキストであり、画像を含まない場合、テキスト専用モデルの方がより適しているかもしれません。Moondream 3.1 は、リクエストに実際に解釈すべき画像が含まれている場合に最も価値を発揮します。