VoyageAI by MongoDB: voyage-4-large

MongoDB의 VoyageAI: voyage-4-large는 Voyage AI의 임베딩 모델이며, 이 제공자의 모델은 VoyageAI by MongoDB라는 이름으로 배포됩니다. 이 모델은 임베딩 카테고리에 속하므로, 채팅 응답을 생성하는 것이 아니라 텍스트를 벡터로 변환하도록 만들어졌습니다. 검색이나 유사도 파이프라인을 위한 모델을 고르고 있다면, 이것은 대화 능력보다 임베딩 품질로 평가해야 하는 종류의 모델입니다.

이 모델은 텍스트만 입력 모달리티로 받고 임베딩만 출력으로 반환합니다. 컨텍스트 길이는 32,000 토큰이므로, 단일 요청으로 상당히 긴 문서 하나나 더 짧은 구절들의 묶음을 처리할 수 있습니다. 제공자는 이 모델을 검색 품질에 최적화된 최첨단 범용 및 다국어 임베딩이라고 설명합니다. Matryoshka 학습과 양자화 인식 학습을 사용하며, 2048, 1024, 512, 256 차원의 임베딩을 지원합니다. 최대 출력은 28,800으로 표시되는데, 이는 요청의 임베딩 출력 측면에서의 상한입니다.

이러한 기능들은 특정한 사용 사례 집합을 가리킵니다. 문서 컬렉션에 대한 시맨틱 검색과 검색이 가장 직접적인 적합 사례인데, 이 모델은 검색 품질에 맞게 조정되었고 32,000 토큰 컨텍스트 안에서 긴 구절을 임베딩할 수 있기 때문입니다. 다국어 학습을 고려하면 다국어 코퍼스도 합리적인 대상입니다. 임베딩을 2048, 1024, 512, 256 차원으로 절단할 수 있으므로, 인덱스에 필요한 정밀도에 따라 벡터 크기와 저장 및 검색 속도를 맞바꿀 수 있습니다. 텍스트에 대한 클러스터링, 중복 제거, 유사도 점수 산정도 자연스러운 응용 사례이며, 별도의 생성 모델에 공급되는 벡터 인덱스를 구축하는 것도 마찬가지입니다.

이 모델은 모델 id "voyageai/voyage-4-large"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 엔드포인트가 OpenAI 형식을 따르므로, 기존 OpenAI 클라이언트를 api14로 지정하고 통합을 다시 작성하지 않고도 임베딩 요청을 보낼 수 있습니다. 이 모델의 지원되는 매개변수 목록은 비어 있으므로, 표준 임베딩 호출에 필요한 것 외에 구성할 추가 요청 매개변수가 없습니다. 모델 id를 설정해야 하는 유일한 모델별 값으로 취급하십시오.

염두에 두어야 할 실용적인 제약 하나는 이 모델이 텍스트 입력만 처리하고 임베딩만 생성한다는 점입니다. 텍스트를 생성하거나 질문에 답하거나 지시를 따를 수 없으므로, 작성된 응답이 필요한 애플리케이션에는 별도의 생성 모델이 함께 필요합니다. 32,000 토큰 컨텍스트는 임베딩 작업에 넉넉하지만 여전히 유한하므로, 매우 큰 문서는 임베딩 전에 청크로 나누어야 합니다. 작업이 검색이 아니라 생성이라면, 채팅 또는 완성 모델이 더 적합합니다.