NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (gratis) es un modelo de reranking multimodal de NVIDIA. Pertenece a la categoría de rerank, y su tarea es más acotada que la de un modelo de chat o de generación: evalúa qué tan relevante es un documento para la consulta de un usuario. El modelo es un sistema de 1.7B parámetros, y la versión servida aquí es la release V2. NVIDIA lo construyó específicamente para la etapa de ranking de pipelines de recuperación, incluidos los pipelines que trabajan con imágenes además de texto.

En la entrada, el modelo acepta texto e imágenes. En la salida, produce resultados de rerank en lugar de prosa generada. Eso significa que le das una consulta junto con documentos candidatos, que pueden ser imágenes de documentos o texto, y devuelve juicios de relevancia que puedes usar para ordenar esos candidatos. La ventana de contexto es de 10,240 tokens, con una salida máxima de 9,216. Como ambos presupuestos, el de entrada y el de salida, están en ese rango, la restricción práctica es cuánto contenido de consulta y de documento metes en una sola llamada de scoring.

El caso de uso obvio es RAG de visión. Si tu sistema de recuperación indexa páginas escaneadas, capturas de pantalla, presentaciones de diapositivas, PDFs renderizados como imágenes, o cualquier corpus donde el diseño y los elementos visuales aporten significado, un reranker solo de texto perderá parte de la señal. Este modelo puntúa imágenes de documentos contra una consulta directamente, así que puede ubicarse entre tu retriever de primera etapa y el paso de generación, reordenando candidatos para que los más relevantes lleguen a la ventana de contexto del modelo que sea que escriba la respuesta final. El reranking solo de texto también funciona, así que los corpus mixtos están bien.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Como la interfaz es compatible con OpenAI, apuntas tu cliente existente a la URL base de api14 y pasas ese id en el campo model. Ten en cuenta que este modelo no lista parámetros soportados más allá de los básicos, así que no hay controles adicionales como ajustes de sampling o formato de respuesta personalizado para configurar en él. Limita tu solicitud al contenido de mensaje estándar más el id de modelo.

Esa lista de parámetros vacía vale la pena tenerla en cuenta al planificar. Si tu aplicación espera ajustar temperature, top_p o configuraciones similares, este no es el modelo para eso; un modelo generativo encajaría mejor ahí. Del mismo modo, si tu tarea es producir texto en lugar de ordenar candidatos, un reranker es la herramienta equivocada. Donde encaja es en la etapa de ranking, especialmente cuando tus documentos son imágenes y quieres un scoring de relevancia que las tenga en cuenta.