VoyageAI by MongoDB: rerank-3

MongoDB의 VoyageAI: rerank-3는 현재 MongoDB에 속한 제공업체인 Voyage AI의 리랭킹 모델입니다. 이는 rerank 카테고리에 속하며, Voyage AI는 이를 최적화된 리랭커이자 rerank-2.5로의 드롭인 업그레이드로 포지셔닝합니다. 이것은 채팅이나 텍스트 생성 모델이 아닙니다. 이 모델은 후보 문서 집합을 받아 쿼리와의 관련성에 따라 재정렬하기 위해 존재합니다.

이 모델은 텍스트 입력으로 작동하며 리랭킹 출력을 생성합니다. 컨텍스트 길이는 32,000 토큰으로, 단일 호출에서 쿼리와 상당한 규모의 후보 구절 배치를 함께 수용할 수 있을 만큼 충분히 큽니다. 최대 출력은 28,800입니다. 리랭커이기 때문에 응답의 형태는 자유 형식 산문이 아니라 제공한 문서들의 순위가 매겨진 정렬입니다. 이 모델에 대해 나열된 지원 파라미터가 없으므로, 호출자는 생성 모델에 적용되는 샘플링 제어(temperature, top_p 및 유사한 것들)를 기대해서는 안 됩니다.

실용적인 사용 사례는 그 설계에서 직접 따라옵니다. 흔한 패턴은 2단계 검색 파이프라인입니다. 빠른 벡터 또는 키워드 검색이 넓은 후보 집합을 반환한 다음, rerank-3가 이를 재정렬하여 가장 관련성 높은 결과가 상단에 나타나게 합니다. 이는 검색 결과의 품질, 검색 증강 생성 컨텍스트, 문서 컬렉션에 대한 질의응답, 그리고 관련성 순위가 중요한 추천 또는 매칭 기능을 개선합니다. 제공업체가 긴 문서 평가에서의 향상을 설명하므로, 순위를 매기는 구절이 짧은 스니펫이 아니라 긴 경우에도 합리적으로 적합합니다.

api14를 통해 호출하려면 OpenAI 호환 엔드포인트에 대해 모델 id "voyageai/rerank-3"를 사용하세요. api14는 OpenAI 호환 API를 노출하므로, 기존 클라이언트를 게이트웨이로 향하게 하고 해당 id를 모델로 전달하면 됩니다. 이 모델은 지원 파라미터를 나열하지 않으므로, 쿼리와 순위를 매길 문서를 담은 단순한 요청을 보내고, 디코딩 설정을 조정하기보다 모델 자체의 순위 지정 동작에 의존해야 합니다.

주목할 만한 한 가지 한계는 범위입니다. rerank-3는 텍스트만 재정렬하며 답변이나 요약을 생성하지 않으므로, 텍스트를 생성하는 모델이 필요하다면 생성 모델과 함께 사용하게 됩니다. 또한 파이프라인에 별도의 검색 단계가 없고 1차 임베딩 검색만 필요하다면, 전용 임베딩 모델이 더 단순한 시작점일 수 있으며, 나중에 순서를 정교화하기 위해 rerank-3를 추가할 수 있습니다.