NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (free) to multimodalny model do rerankingu od NVIDIA. Należy do kategorii rerank, a jego zadanie jest węższe niż w przypadku modelu czatu lub generowania: ocenia, jak istotny jest dokument względem zapytania użytkownika. Model jest systemem o 1.7B parametrów, a wersja udostępniana tutaj to wydanie V2. NVIDIA zbudowała go specjalnie na etap rankingowania w potokach wyszukiwania, w tym w potokach pracujących zarówno z obrazami, jak i tekstem.

Na wejściu model przyjmuje tekst i obrazy. Na wyjściu zwraca wyniki rerankingu, a nie wygenerowaną prozę. Oznacza to, że podajesz mu zapytanie wraz z dokumentami kandydującymi, którymi mogą być obrazy dokumentów lub tekst, a on zwraca oceny istotności, których możesz użyć do uporządkowania tych kandydatów. Okno kontekstu wynosi 10,240 tokenów, a maksymalne wyjście to 9,216. Ponieważ zarówno budżet wejściowy, jak i wyjściowy mieszczą się w tym zakresie, praktycznym ograniczeniem jest to, ile treści zapytania i dokumentu upakujesz w pojedynczym wywołaniu oceniania.

Oczywistym przypadkiem użycia jest vision RAG. Jeśli Twój system wyszukiwania indeksuje zeskanowane strony, zrzuty ekranu, prezentacje, pliki PDF renderowane jako obrazy lub dowolny zbiór, w którym układ i elementy wizualne niosą znaczenie, reranker działający tylko na tekście pominie część sygnału. Ten model ocenia obrazy dokumentów względem zapytania bezpośrednio, więc może działać między Twoim wyszukiwaniem pierwszego etapu a krokiem generowania, zmieniając kolejność kandydatów tak, aby najbardziej istotne trafiły do okna kontekstu tego modelu, który pisze ostateczną odpowiedź. Reranking działający tylko na tekście również działa, więc mieszane zbiory są w porządku.

Wywołujesz go przez zgodne z OpenAI API api14, używając identyfikatora modelu "nvidia/llama-nemotron-rerank-vl-1b-v2:free". Ponieważ interfejs jest zgodny z OpenAI, kierujesz swój istniejący klient na bazowy URL api14 i przekazujesz ten identyfikator w polu model. Zauważ, że ten model nie wymienia żadnych obsługiwanych parametrów poza podstawowymi, więc nie ma dodatkowych opcji, takich jak kontrola próbkowania czy niestandardowe formatowanie odpowiedzi, które można by dla niego skonfigurować. Ogranicz żądanie do standardowej zawartości wiadomości plus identyfikatora modelu.

Ta pusta lista parametrów jest warta uwzględnienia w planowaniu. Jeśli Twoja aplikacja oczekuje dostrajania temperature, top_p lub podobnych ustawień, to nie jest model do tego; lepiej pasowałby tu model generatywny. Podobnie, jeśli Twoim zadaniem jest tworzenie tekstu, a nie porządkowanie kandydatów, reranker jest niewłaściwym narzędziem. Pasuje do etapu rankingowania, zwłaszcza gdy Twoje dokumenty są obrazami i chcesz oceny istotności, która je uwzględnia.