NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (free) ist ein multimodales Reranking-Modell von NVIDIA. Es gehört zur Kategorie Rerank, und seine Aufgabe ist enger gefasst als die eines Chat- oder Generierungsmodells: Es bewertet, wie relevant ein Dokument für eine Nutzeranfrage ist. Das Modell ist ein System mit 1,7 Milliarden Parametern, und die hier bereitgestellte Version ist das V2-Release. NVIDIA hat es speziell für die Ranking-Stufe von Retrieval-Pipelines entwickelt, einschließlich Pipelines, die mit Bildern ebenso wie mit Text arbeiten.

Am Eingang akzeptiert das Modell Text und Bilder. Am Ausgang liefert es Rerank-Ergebnisse statt generierter Prosa. Das bedeutet, Sie geben ihm eine Anfrage zusammen mit Kandidatendokumenten, die Dokumentbilder oder Text sein können, und es liefert Relevanzurteile zurück, mit denen Sie diese Kandidaten ordnen können. Das Kontextfenster umfasst 10.240 Token, mit einer maximalen Ausgabe von 9.216. Da sowohl das Eingabe- als auch das Ausgabebudget in diesem Bereich liegen, besteht die praktische Einschränkung darin, wie viel Anfrage- und Dokumentinhalt Sie in einen einzelnen Scoring-Aufruf packen.

Der offensichtliche Anwendungsfall ist Vision RAG. Wenn Ihr Retrieval-System gescannte Seiten, Screenshots, Foliensätze, als Bilder gerenderte PDFs oder einen beliebigen Korpus indexiert, in dem Layout und visuelle Elemente Bedeutung tragen, wird ein reiner Text-Reranker einen Teil des Signals verpassen. Dieses Modell bewertet Dokumentbilder direkt gegen eine Anfrage, sodass es zwischen Ihrem Retriever der ersten Stufe und dem Generierungsschritt sitzen und Kandidaten neu ordnen kann, damit die relevantesten das Kontextfenster des Modells erreichen, das die endgültige Antwort schreibt. Reines Text-Reranking funktioniert ebenfalls, gemischte Korpora sind also kein Problem.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "nvidia/llama-nemotron-rerank-vl-1b-v2:free" auf. Da die Schnittstelle OpenAI-kompatibel ist, richten Sie Ihren vorhandenen Client auf die Basis-URL von api14 und übergeben diese ID im Feld model. Beachten Sie, dass dieses Modell keine unterstützten Parameter über die Grundlagen hinaus auflistet, es gibt also keine zusätzlichen Stellschrauben wie Sampling-Steuerung oder benutzerdefinierte Antwortformatierung, die Sie dafür konfigurieren könnten. Beschränken Sie Ihre Anfrage auf den standardmäßigen Nachrichteninhalt plus die Modell-ID.

Diese leere Parameterliste sollte man bei der Planung berücksichtigen. Wenn Ihre Anwendung erwartet, temperature, top_p oder ähnliche Einstellungen abzustimmen, ist dies nicht das passende Modell dafür; ein generatives Modell wäre dort besser geeignet. Ebenso ist ein Reranker das falsche Werkzeug, wenn Ihre Aufgabe darin besteht, Text zu erzeugen statt Kandidaten zu ordnen. Wo es passt, ist die Ranking-Stufe, besonders wenn Ihre Dokumente Bilder sind und Sie eine Relevanzbewertung wünschen, die diese berücksichtigt.