NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA : Llama Nemotron Rerank VL 1B V2 (gratuit) est un modèle de reranking multimodal de NVIDIA. Il appartient à la catégorie rerank, et son rôle est plus étroit que celui d'un modèle de chat ou de génération : il évalue la pertinence d'un document par rapport à la requête d'un utilisateur. Le modèle est un système de 1,7 milliard de paramètres, et la version servie ici est la version V2. NVIDIA l'a conçu spécifiquement pour l'étape de classement des pipelines de retrieval, y compris les pipelines qui traitent des images autant que du texte.

En entrée, le modèle accepte du texte et des images. En sortie, il produit des résultats de rerank plutôt que de la prose générée. Cela signifie que vous lui fournissez une requête accompagnée de documents candidats, qui peuvent être des images de documents ou du texte, et il renvoie des jugements de pertinence que vous pouvez utiliser pour ordonner ces candidats. La fenêtre de contexte est de 10 240 tokens, avec une sortie maximale de 9 216. Comme les budgets d'entrée et de sortie se situent dans cette plage, la contrainte pratique est la quantité de contenu de requête et de document que vous intégrez dans un seul appel de scoring.

Le cas d'usage évident est le RAG visuel. Si votre système de retrieval indexe des pages scannées, des captures d'écran, des diaporamas, des PDF rendus sous forme d'images, ou tout corpus où la mise en page et les éléments visuels portent du sens, un reranker purement textuel manquera une partie du signal. Ce modèle note les images de documents par rapport à une requête directement, il peut donc se placer entre votre retriever de premier étage et l'étape de génération, en réordonnant les candidats afin que les plus pertinents atteignent la fenêtre de contexte du modèle qui rédige la réponse finale. Le reranking purement textuel fonctionne aussi, donc les corpus mixtes ne posent pas de problème.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Comme l'interface est compatible OpenAI, vous pointez votre client existant vers l'URL de base d'api14 et passez cet identifiant dans le champ model. Notez que ce modèle ne liste aucun paramètre pris en charge au-delà des bases, il n'y a donc pas de réglages supplémentaires tels que des contrôles d'échantillonnage ou un formatage de réponse personnalisé à configurer pour lui. Limitez votre requête au contenu de message standard plus l'identifiant de modèle.

Cette liste de paramètres vide mérite d'être anticipée. Si votre application compte ajuster temperature, top_p ou des réglages similaires, ce n'est pas le modèle pour cela ; un modèle génératif conviendrait mieux. De même, si votre tâche consiste à produire du texte plutôt qu'à ordonner des candidats, un reranker n'est pas le bon outil. Là où il convient, c'est à l'étape de classement, surtout lorsque vos documents sont des images et que vous voulez un scoring de pertinence qui en tienne compte.