NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)는 NVIDIA의 멀티모달 리랭킹 모델입니다. 리랭크 카테고리에 속하며, 그 역할은 채팅이나 생성 모델보다 더 좁습니다. 사용자 쿼리에 문서가 얼마나 관련이 있는지 평가합니다. 이 모델은 1.7B 파라미터 시스템이며, 여기서 제공되는 버전은 V2 릴리스입니다. NVIDIA는 검색 파이프라인의 랭킹 단계, 그중에서도 텍스트뿐 아니라 이미지도 다루는 파이프라인을 위해 이 모델을 특별히 만들었습니다.

입력으로 이 모델은 텍스트와 이미지를 받습니다. 출력으로는 생성된 산문이 아니라 리랭크 결과를 만듭니다. 즉, 쿼리와 후보 문서(문서 이미지 또는 텍스트일 수 있음)를 함께 주면, 그 후보들의 순서를 정하는 데 사용할 수 있는 관련성 판단을 반환합니다. 컨텍스트 윈도우는 10,240 토큰이고 최대 출력은 9,216입니다. 입력과 출력 예산이 모두 그 범위에 있으므로, 실질적인 제약은 단일 스코어링 호출에 얼마나 많은 쿼리와 문서 내용을 담느냐입니다.

명백한 사용 사례는 비전 RAG입니다. 검색 시스템이 스캔한 페이지, 스크린샷, 슬라이드 덱, 이미지로 렌더링된 PDF, 또는 레이아웃과 시각 요소가 의미를 지니는 모든 코퍼스를 인덱싱한다면, 텍스트 전용 리랭커는 신호의 일부를 놓칩니다. 이 모델은 문서 이미지를 쿼리에 대해 직접 스코어링하므로, 1단계 검색기와 생성 단계 사이에 위치해 후보들의 순서를 다시 정하고, 가장 관련성 높은 후보들이 최종 답변을 작성하는 모델의 컨텍스트 윈도우에 도달하게 할 수 있습니다. 텍스트 전용 리랭킹도 여전히 작동하므로 혼합 코퍼스도 괜찮습니다.

모델 id "nvidia/llama-nemotron-rerank-vl-1b-v2:free"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 호환이므로, 기존 클라이언트를 api14의 base URL로 지정하고 model 필드에 그 id를 전달하면 됩니다. 이 모델은 기본 사항 외에 지원되는 파라미터를 나열하지 않으므로, 샘플링 제어나 사용자 지정 응답 형식 같은 추가 설정 노브가 없다는 점에 유의하세요. 요청은 표준 메시지 콘텐츠와 모델 id로 제한하세요.

그 빈 파라미터 목록은 미리 계획할 가치가 있습니다. 애플리케이션이 temperature, top_p 또는 유사한 설정을 조정할 것으로 예상한다면, 이 모델은 그 용도가 아닙니다. 그런 경우에는 생성 모델이 더 적합합니다. 마찬가지로, 작업이 후보들의 순서를 정하는 것이 아니라 텍스트를 생성하는 것이라면 리랭커는 잘못된 도구입니다. 이 모델이 맞는 곳은 랭킹 단계이며, 특히 문서가 이미지이고 이를 고려한 관련성 스코어링을 원할 때 그렇습니다.