NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (gratis) is een multimodaal reranking-model van NVIDIA. Het behoort tot de rerank-categorie, en zijn taak is smaller dan die van een chat- of generatiemodel: het beoordeelt hoe relevant een document is voor een gebruikersquery. Het model is een systeem met 1,7 miljard parameters, en de versie die hier wordt aangeboden is de V2-release. NVIDIA bouwde het specifiek voor de ranking-fase van retrieval-pipelines, waaronder pipelines die met zowel afbeeldingen als tekst werken.

Als invoer accepteert het model tekst en afbeeldingen. Als uitvoer produceert het rerank-resultaten in plaats van gegenereerde proza. Dat betekent dat je het een query geeft samen met kandidaat-documenten, die documentafbeeldingen of tekst kunnen zijn, en het retourneert relevantiebeoordelingen die je kunt gebruiken om die kandidaten te ordenen. Het contextvenster is 10.240 tokens, met een maximale uitvoer van 9.216. Omdat zowel het invoer- als het uitvoerbudget in dat bereik ligt, is de praktische beperking hoeveel query- en documentinhoud je in een enkele scoring-aanroep stopt.

Het voor de hand liggende gebruiksscenario is vision RAG. Als je retrieval-systeem gescande pagina's, screenshots, slide decks, als afbeeldingen weergegeven PDF's of een corpus waarin lay-out en visuals betekenis dragen indexeert, dan mist een tekst-only reranker een deel van het signaal. Dit model scoort documentafbeeldingen rechtstreeks tegen een query, dus het kan tussen je eerste-fase retriever en de generatiestap staan, en kandidaten herordenen zodat de meest relevante de contextvenster bereiken van welk model dan ook dat het uiteindelijke antwoord schrijft. Tekst-only reranking werkt ook nog steeds, dus gemengde corpora zijn prima.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Omdat de interface OpenAI-compatibel is, richt je je bestaande client op de base URL van api14 en geef je dat id door in het model-veld. Let op dat dit model geen ondersteunde parameters vermeldt buiten de basis, dus er zijn geen extra knoppen zoals sampling-instellingen of aangepaste response-opmaak om voor te configureren. Houd je verzoek bij de standaard message content plus het model-id.

Die lege parameterlijst is het waard om omheen te plannen. Als je applicatie verwacht temperature, top_p of vergelijkbare instellingen af te stemmen, dan is dit niet het model daarvoor; een generatief model zou daar beter passen. Evenzo, als je taak het produceren van tekst is in plaats van het ordenen van kandidaten, dan is een reranker het verkeerde gereedschap. Waar het past is de ranking-stap, vooral wanneer je documenten afbeeldingen zijn en je relevantiescoring wilt die daarmee rekening houdt.