NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (gratuito) é um modelo de reranking multimodal da NVIDIA. Ele pertence à categoria rerank, e seu trabalho é mais restrito do que o de um modelo de chat ou de geração: ele avalia o quão relevante um documento é para a consulta de um usuário. O modelo é um sistema de 1,7 bilhão de parâmetros, e a versão servida aqui é a release V2. A NVIDIA o construiu especificamente para o estágio de ranking de pipelines de recuperação, incluindo pipelines que trabalham com imagens além de texto.

Na entrada, o modelo aceita texto e imagens. Na saída, ele produz resultados de rerank em vez de prosa gerada. Isso significa que você fornece a ele uma consulta junto com documentos candidatos, que podem ser imagens de documentos ou texto, e ele retorna julgamentos de relevância que você pode usar para ordenar esses candidatos. A janela de contexto é de 10.240 tokens, com saída máxima de 9.216. Como os orçamentos de entrada e saída ficam nessa faixa, a restrição prática é quanto conteúdo de consulta e de documento você coloca em uma única chamada de pontuação.

O caso de uso óbvio é RAG com visão. Se seu sistema de recuperação indexa páginas digitalizadas, capturas de tela, apresentações de slides, PDFs renderizados como imagens, ou qualquer corpus em que o layout e os elementos visuais carreguem significado, um reranker apenas de texto perderá parte do sinal. Este modelo pontua imagens de documentos em relação a uma consulta diretamente, então ele pode ficar entre seu retriever de primeiro estágio e a etapa de geração, reordenando candidatos para que os mais relevantes cheguem à janela de contexto do modelo que escreve a resposta final. O reranking apenas de texto também funciona, então corpora mistos não são problema.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Como a interface é compatível com OpenAI, você aponta seu cliente existente para a URL base da api14 e passa esse id no campo model. Observe que este modelo não lista parâmetros suportados além do básico, então não há controles extras como controles de amostragem ou formatação de resposta personalizada para configurar nele. Mantenha sua requisição no conteúdo de mensagem padrão mais o id de modelo.

Vale a pena planejar em torno dessa lista de parâmetros vazia. Se sua aplicação espera ajustar temperature, top_p ou configurações semelhantes, este não é o modelo para isso; um modelo generativo se encaixaria melhor. Da mesma forma, se sua tarefa é produzir texto em vez de ordenar candidatos, um reranker é a ferramenta errada. Onde ele se encaixa é na etapa de ranking, especialmente quando seus documentos são imagens e você quer uma pontuação de relevância que leve isso em conta.