Moondream: Moondream 3.1

Moondream: Moondream 3.1 é um modelo de visão e linguagem da Moondream, a mesma equipe por trás dos lançamentos anteriores do Moondream. É o sucessor do Moondream 3 Preview e usa um design de mistura de especialistas com 9B parâmetros totais e 2B parâmetros ativos. Essa combinação significa que o modelo carrega uma grande capacidade geral enquanto ativa apenas uma fração menor dela por requisição, o que é uma forma comum de manter a inferência eficiente sem encolher o conhecimento do modelo. Ele fica na categoria de texto no api14, mas seu traço definidor é que ele lê imagens além de texto.

No lado da entrada, o Moondream 3.1 aceita tanto texto quanto imagens, e produz apenas texto. Sua janela de contexto é de 32.000 tokens, e o comprimento máximo de saída é de 4.096 tokens. O provedor descreve o modelo como cobrindo resposta a perguntas visuais, legendagem e OCR, entre outras tarefas. Esses são os comportamentos centrais de visão e linguagem: responder perguntas sobre o que está em uma imagem, gerar uma descrição escrita de uma imagem e extrair texto que aparece dentro de uma imagem. Como a janela de contexto é compartilhada entre a entrada de imagem e o prompt de texto, imagens maiores ou mais numerosas deixam menos espaço para instruções e histórico de conversa.

Os casos de uso práticos decorrem diretamente dessas capacidades. A resposta a perguntas visuais é adequada para ferramentas interativas em que um usuário envia uma foto ou captura de tela e pergunta sobre seu conteúdo. A legendagem se encaixa em pipelines que precisam de texto alternativo, descrições de mídia ou resumos curtos de ativos de imagem. O OCR é útil para extrair texto de digitalizações, capturas de tela, formulários ou fotografias de documentos, e para alimentar esse texto em etapas posteriores. Como o modelo também aceita texto comum, ele pode lidar com um prompt misto em que a instrução e a imagem chegam juntas, o que mantém a integração simples para fluxos de trabalho de revisão de documentos e imagens.

Você o chama através da API compatível com OpenAI do api14 usando o id de modelo "moondream/moondream3.1-9b-a2b". Os parâmetros de requisição suportados são include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature e top_p. Temperature e top_p controlam a amostragem, enquanto os parâmetros de token limitam o comprimento da resposta gerada. Os parâmetros reasoning e include_reasoning estão relacionados a expor o comportamento de raciocínio do modelo, então verifique como seu cliente lida com eles se você não precisa dessa saída. Como a interface é compatível com OpenAI, SDKs existentes e formatos de requisição no estilo chat geralmente funcionam sem alterações além do id de modelo e do conteúdo de imagem na mensagem.

Tenha os limites em mente ao escolher este modelo. O contexto de 32.000 tokens e o teto de saída de 4.096 tokens são os limites rígidos, então documentos muito longos ou conversas longas com múltiplas imagens podem precisar de fragmentação ou corte. A saída é apenas texto, então ele não vai gerar ou editar imagens. Se sua tarefa for puramente de texto e não envolver imagens, um modelo apenas de texto pode ser um encaixe mais simples; o Moondream 3.1 é mais valioso quando a requisição realmente contém uma imagem a interpretar.