NVIDIA: Llama Nemotron Embed VL 1B V2 (free)

O Llama Nemotron Embed VL 1B V2 é um modelo de embedding da NVIDIA, distribuído no api14 sob o id de modelo nvidia/llama-nemotron-embed-vl-1b-v2:free. Pertence à categoria de embeddings, e seu propósito declarado é a recuperação multimodal de perguntas e respostas. É um modelo da classe 1B, o que o coloca entre as opções menores da família Nemotron, e é oferecido aqui em uma variante gratuita.

O modelo aceita texto e imagens como entrada e produz embeddings como saída. Ele pode incorporar documentos em três formas: apenas imagem, apenas texto, ou imagem e texto juntos. Essa flexibilidade é o núcleo de seu design, já que sistemas de recuperação frequentemente precisam corresponder uma pergunta em texto a uma imagem de página, uma captura de tela, um diagrama ou uma passagem de prosa. A janela de contexto é de 131072 tokens, e a saída máxima é de 117964, então documentos longos podem ser incorporados sem dividi-los em muitos fragmentos.

Os usos práticos decorrem da recuperação multimodal. Uma equipe que constrói um sistema de perguntas e respostas sobre documentos digitalizados, PDFs, imagens de produtos ou bases de conhecimento de mídia mista pode incorporar cada item uma vez e então executar uma busca por similaridade contra uma consulta em texto. Como imagem e texto podem ser incorporados conjuntamente, o mesmo índice pode atender consultas sobre um gráfico e consultas sobre o parágrafo ao lado dele, o que evita manter pipelines separados para conteúdo visual e textual. Também é adequado para deduplicação, agrupamento e recomendação sobre coleções que misturam capturas de tela com material escrito.

Para chamá-lo através do api14, use o endpoint de embeddings compatível com OpenAI com o id de modelo nvidia/llama-nemotron-embed-vl-1b-v2:free. O modelo não lista parâmetros suportados, então as requisições devem se basear nos campos padrão que o endpoint exige, em vez de controles de amostragem como temperature ou top_p, que não se aplicam a modelos de embedding. Envie sua entrada no formato usual de requisição de embeddings e leia o vetor de volta na resposta.

Um ponto a considerar é que este é um modelo de embedding, não um modelo de chat ou geração, então ele não responderá perguntas nem escreverá texto. Se sua tarefa é geração, raciocínio ou conversação, um modelo diferente é a escolha certa. Também vale a pena verificar se sua stack de recuperação consegue armazenar e comparar as dimensões do vetor que o modelo retorna, e se suas entradas cabem no contexto de 131072 tokens.