VoyageAI by MongoDB: voyage-4

voyage-4는 Voyage AI의 범용 임베딩 모델입니다. Voyage AI는 현재 MongoDB의 일부가 된 Voyage 임베딩 제품군을 만든 회사입니다. 이 모델은 api14에 모델 id voyageai/voyage-4로 등록되어 있으며 임베딩 카테고리에 속하므로, 채팅 응답을 생성하기보다는 텍스트를 벡터로 변환하도록 만들어졌습니다. 검색 또는 서치 시스템을 위해 임베딩 모델을 고르고 있다면, 이것은 다른 범용 임베딩 옵션들과 함께 평가하게 될 종류의 모델입니다.

이 모델은 텍스트를 입력으로 받고 임베딩을 출력으로 반환합니다. 범용 및 다국어 모델로 설명되며, 검색과 서치뿐 아니라 다른 AI 애플리케이션에도 최적화되어 있습니다. 2048, 1024, 512, 256 차원의 임베딩과 여러 양자화 옵션을 지원하므로, 인덱스에 따라 벡터 크기와 저장 및 검색 특성을 절충할 수 있습니다. 컨텍스트 길이는 32000 토큰이고 최대 출력은 28800이므로, 긴 문서를 여러 작은 조각으로 나누지 않고도 임베딩할 수 있습니다.

이러한 기능은 상당히 구체적인 용도 집합을 가리킵니다. 검색과 서치가 주요 용도입니다. 문서 컬렉션을 인덱싱하고, 쿼리를 임베딩하고, 벡터 유사도로 비교하는 것입니다. 이 모델은 다국어이므로 언어가 섞인 컬렉션과 쿼리에도 적합하며, 여러 출력 차원과 양자화 옵션을 지원하므로 고품질 인덱스와 더 작고 압축된 인덱스 모두에 사용할 수 있습니다. 일반적인 애플리케이션으로는 검색 증강 생성 파이프라인, 내부 문서에 대한 시맨틱 검색, 텍스트의 중복 제거 또는 클러스터링, 생성된 텍스트가 아니라 임베딩을 기반으로 동작하는 추천 또는 분류 시스템 등이 있습니다.

api14의 OpenAI 호환 API를 통해 모델 id voyageai/voyage-4를 사용해 호출하며, 텍스트를 보내고 응답에서 임베딩을 받습니다. 이 모델의 지원 파라미터 목록은 비어 있으므로 temperature나 top_p 같은 샘플링 제어를 전달할 수 있다고 기대해서는 안 됩니다. 요청은 본질적으로 입력 텍스트와 모델 id뿐입니다. 차원과 양자화 선택은 여기서 노출되는 요청 파라미터가 아니라 모델의 임베딩 동작의 일부이므로, 특정 벡터 크기를 기준으로 구축하기 전에 그것들이 어떻게 선택되는지 현재 API 레퍼런스를 확인하세요.

한 가지 명심할 점은 이것이 채팅이나 완성 모델이 아니라 임베딩 모델이라는 것입니다. 작업이 텍스트 생성, 요약 또는 대화라면 텍스트 생성 모델이 적합하며, voyage-4는 검색 파이프라인에서 지원 구성 요소로만 유용할 것입니다. 또한 텍스트만 받으므로 다른 모달리티의 입력은 범위 밖입니다. 이러한 범위 안에서, 임베딩 차원을 제어하고 싶은 검색 및 서치 작업에 합리적인 후보입니다.