VoyageAI by MongoDB: rerank-2.5

MongoDB의 VoyageAI: rerank-2.5는 Voyage AI의 리랭킹 모델이며, 이 제공자의 리랭커는 VoyageAI by MongoDB라는 이름으로 배포됩니다. 이 모델은 rerank 카테고리에 속하며, 이는 텍스트를 생성하는 것이 아니라 후보 문서 집합을 받아 쿼리와의 관련성에 따라 재정렬하는 역할을 한다는 뜻입니다. 애플리케이션이 이미 구절, 청크 또는 검색 결과를 검색하고 있으며 가장 잘 맞는 항목을 상단에 두고 싶다면, 이런 종류의 모델을 선택하게 됩니다.

이 모델은 텍스트를 입력으로 받고 리랭킹을 출력으로 생성합니다. 컨텍스트 길이는 32,000 토큰이며, 이는 단일 요청에서 제출하는 쿼리와 문서 전체에 공유되는 예산이고, 최대 출력은 28,800입니다. 출력이 생성된 산문이 아니라 순위이므로, 이 모델이 질문에 답하거나 내용을 요약하거나 코드를 작성할 것이라고 기대해서는 안 됩니다. 이 모델의 기여는 제공한 후보들에 대한 관련성 순서뿐입니다.

실용적인 사용 사례는 여기에서 바로 이어집니다. 검색 증강 생성 파이프라인은 빠른 벡터 또는 키워드 검색 이후 두 번째 단계로 rerank-2.5를 사용할 수 있으며, 상위 후보를 가져와 재정렬하여 가장 관련성 높은 청크가 생성 모델로 전달되도록 합니다. 같은 패턴이 엔터프라이즈 검색, 문서 검색, 지원 지식 베이스에도 적용되며, 여기서 첫 단계는 재현율을 우선하고 리랭커는 정밀도를 회복합니다. 사용자에게 보여주거나 다운스트림 프롬프트에 넣을 수 있는 것보다 더 많은 후보 구절이 있는 중복 제거 및 우선순위 지정 작업에도 유용합니다.

이 모델은 모델 id "voyageai/rerank-2.5"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 엔드포인트가 OpenAI 스키마를 따르므로 기존 OpenAI 클라이언트를 api14의 base URL로 지정하고 model 필드에 이 id를 전달할 수 있습니다. 이 모델의 지원되는 매개변수 목록은 비어 있으므로, 리랭크 요청 자체에 필요한 것(예: 쿼리와 점수를 매길 문서) 외에는 설정할 추가 튜닝 옵션이 없습니다. 쿼리와 모든 후보 문서가 그 총합에 포함된다는 점을 기억하며 요청을 32,000 토큰 컨텍스트 안에 유지하세요.

다른 곳을 찾아야 하는 경우에 대해 말하자면, rerank-2.5는 텍스트만 처리하고 순위만 반환하므로 이미지 입력, 오디오 또는 생성된 출력이 필요한 작업은 그 범위 밖이며 다른 모델에 속합니다. 검색과 답변을 모두 수행하는 단일 모델이 필요하다면 생성 모델이 더 적합하며, rerank-2.5를 선택적으로 그 앞에 정밀도 단계로 배치할 수 있습니다.