NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (gratis) är en multimodal omrankningsmodell från NVIDIA. Den tillhör kategorin omrankning, och dess uppgift är snävare än en chatt- eller genereringsmodells: den utvärderar hur relevant ett dokument är för en användarfråga. Modellen är ett system med 1,7 miljarder parametrar, och versionen som tillhandahålls här är V2-utgåvan. NVIDIA byggde den specifikt för rankningssteget i hämtningspipelines, inklusive pipelines som arbetar med bilder såväl som text.

Vid indata accepterar modellen text och bilder. Vid utdata producerar den omrankningsresultat snarare än genererad prosa. Det innebär att du ger den en fråga tillsammans med kandidatdokument, som kan vara dokumentbilder eller text, och den returnerar relevansbedömningar som du kan använda för att ordna dessa kandidater. Kontextfönstret är 10 240 token, med en maximal utdata på 9 216. Eftersom både indata- och utdatabudgeten ligger i det intervallet är den praktiska begränsningen hur mycket fråge- och dokumentinnehåll du packar in i ett enda poängsättningsanrop.

Det uppenbara användningsfallet är vision RAG. Om ditt hämtningssystem indexerar skannade sidor, skärmbilder, bildspel, PDF-filer renderade som bilder eller någon korpus där layout och visuella element bär betydelse, kommer en omrankare som bara hanterar text att missa en del av signalen. Den här modellen poängsätter dokumentbilder mot en fråga direkt, så den kan placeras mellan din förstastegs-hämtare och genereringssteget, och ordna om kandidater så att de mest relevanta når kontextfönstret hos vilken modell som helst som skriver det slutliga svaret. Omrankning med bara text fungerar också, så blandade korpusar är inga problem.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Eftersom gränssnittet är OpenAI-kompatibelt pekar du din befintliga klient mot api14:s bas-URL och skickar det id:t i modellfältet. Observera att den här modellen inte listar några stödda parametrar utöver grunderna, så det finns inga extra reglage som samplingskontroller eller anpassad svarsformatering att konfigurera för den. Håll din begäran till standardmeddelandeinnehållet plus modell-id:t.

Den tomma parameterlistan är värd att planera kring. Om din applikation förväntar sig att kunna justera temperature, top_p eller liknande inställningar är detta inte modellen för det; en generativ modell skulle passa bättre där. På samma sätt, om din uppgift är att producera text snarare än att ordna kandidater, är en omrankare fel verktyg. Där den passar är i rankningssteget, särskilt när dina dokument är bilder och du vill ha relevanspoängsättning som tar hänsyn till dem.