NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (free) è un modello di reranking multimodale di NVIDIA. Appartiene alla categoria rerank, e il suo compito è più ristretto di quello di un modello di chat o di generazione: valuta quanto un documento è rilevante rispetto a una query dell'utente. Il modello è un sistema da 1,7 miliardi di parametri, e la versione servita qui è la release V2. NVIDIA lo ha costruito specificamente per la fase di ranking delle pipeline di retrieval, comprese le pipeline che lavorano con immagini oltre che con testo.

In input, il modello accetta testo e immagini. In output, produce risultati di rerank anziché prosa generata. Ciò significa che gli si fornisce una query insieme a documenti candidati, che possono essere immagini di documenti o testo, e restituisce giudizi di rilevanza che si possono usare per ordinare quei candidati. La finestra di contesto è di 10.240 token, con un output massimo di 9.216. Poiché sia il budget di input sia quello di output si collocano in quel range, il vincolo pratico è quanto contenuto di query e documenti si inserisce in una singola chiamata di scoring.

Il caso d'uso ovvio è il RAG visivo. Se il sistema di retrieval indicizza pagine scansionate, screenshot, presentazioni, PDF renderizzati come immagini, o qualsiasi corpus in cui layout e elementi visivi portano significato, un reranker solo testuale perderà parte del segnale. Questo modello valuta immagini di documenti rispetto a una query direttamente, quindi può stare tra il retriever di primo stadio e la fase di generazione, riordinando i candidati affinché i più rilevanti raggiungano la finestra di contesto del modello che scrive la risposta finale. Anche il reranking solo testuale continua a funzionare, quindi i corpus misti vanno bene.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Poiché l'interfaccia è compatibile con OpenAI, si punta il client esistente al base URL di api14 e si passa quell'id nel campo model. Si noti che questo modello non elenca parametri supportati oltre a quelli di base, quindi non ci sono manopole extra come controlli di campionamento o formattazione personalizzata della risposta da configurare. Si mantenga la richiesta al contenuto standard dei messaggi più il model id.

Quell'elenco vuoto di parametri vale la pena di essere considerato in fase di progettazione. Se l'applicazione prevede di regolare temperature, top_p o impostazioni simili, questo non è il modello adatto; un modello generativo si adatterebbe meglio. Allo stesso modo, se il compito è produrre testo anziché ordinare candidati, un reranker è lo strumento sbagliato. Dove si inserisce è nella fase di ranking, specialmente quando i documenti sono immagini e si desidera uno scoring di rilevanza che ne tenga conto.