Moondream: Moondream 3 Preview

Moondream: Moondream 3 Preview é um modelo de visão e linguagem da Moondream, listado na api14 sob a categoria principal de texto. É um modelo de mistura de especialistas com 9B parâmetros totais e 2B parâmetros ativos, o que significa que apenas parte da rede é acionada para cada requisição. O rótulo "preview" no nome indica que esta é uma versão inicial da terceira geração Moondream, e não um lançamento final. Ele fica na categoria de texto na api14 mesmo aceitando imagens, porque sua saída é sempre texto.

O modelo aceita entradas de texto e imagem e retorna apenas texto. Sua janela de contexto é de 32.000 tokens, e a saída máxima é de 4.096 tokens. Segundo a Moondream, ele lida com resposta a perguntas visuais, legendagem, OCR e raciocínio visual sobre imagens. Os parâmetros de requisição suportados são include_reasoning, max_completion_tokens, max_tokens, reasoning, temperature e top_p. A presença de reasoning e include_reasoning sugere que o modelo pode expor etapas intermediárias de raciocínio quando você as solicita, embora a forma exata dessa saída não seja especificada aqui.

Essas capacidades apontam para um conjunto bastante específico de tarefas. A resposta a perguntas visuais se encaixa em qualquer situação em que um usuário precise perguntar sobre o conteúdo de uma foto ou captura de tela e obter uma resposta escrita. A legendagem é adequada para gerar texto alternativo, descrições de imagens para catálogos ou resumos de material visual. O OCR cobre a extração de texto de imagens, como digitalizações, recibos ou documentos fotografados, e sua devolução como texto simples. O raciocínio visual vai um passo além, para tarefas em que a resposta depende de combinar o que é visível com uma pergunta, como interpretar um gráfico ou verificar se uma imagem corresponde a uma afirmação. Como a saída é apenas texto, o modelo não é adequado quando você precisa de imagens geradas.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "moondream/moondream3-preview". Qualquer cliente que fale o formato de chat completions da OpenAI deve funcionar; você define o campo model com esse id e envia seu prompt de texto junto com quaisquer imagens que deseja analisar. Ajuste a amostragem com temperature e top_p, limite a resposta com max_tokens ou max_completion_tokens, e habilite o raciocínio com os parâmetros reasoning ou include_reasoning se quiser que o raciocínio do modelo seja exposto.

Tenha em mente o contexto de 32.000 tokens e o limite de saída de 4.096 tokens ao projetar prompts: documentos longos mais várias imagens podem preencher a janela rapidamente, e respostas muito longas serão truncadas. Se sua tarefa for texto puro sem imagens, ou você precisar de entrada de áudio ou vídeo, ou precisar de saída de imagem, um modelo diferente na api14 se encaixará melhor do que este.