VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite는 Voyage AI의 임베딩 모델입니다. Voyage AI는 Voyage 검색 모델 제품군을 만든 회사이며, 현재 MongoDB의 일부입니다. 이 모델은 채팅 범주가 아니라 임베딩 범주에 속하므로 텍스트를 생성하지 않습니다. 대신 텍스트를 벡터로 변환하여 저장하고 비교할 수 있게 합니다. 이 모델은 경량 범용 모델로 포지셔닝되어 있으며, 가장 어려운 검색 문제에서 최대 정확도보다는 낮은 지연 시간과 비용을 위해 만들어졌습니다.

이 모델은 텍스트를 입력으로 받고 임베딩을 출력으로 반환합니다. 컨텍스트 길이는 32,000 토큰이고 최대 출력은 28,800이므로, 긴 문서를 여러 개의 작은 청크로 나누지 않고도 임베딩할 수 있습니다. Voyage AI는 이를 Matryoshka learning과 quantization-aware training으로 학습시켰으며, 이를 통해 단일 모델이 2048, 1024, 512, 256 차원의 임베딩을 생성할 수 있습니다. 저장 공간과 지연 시간 예산에 맞는 차원을 선택할 수 있으며, 더 짧은 벡터도 붕괴하지 않고 사용할 수 있습니다.

이러한 속성은 상당히 특정한 용도 집합을 가리킵니다. 문서 모음에 대한 시맨틱 검색은 핵심 사례로, 청크를 한 번 임베딩한 뒤 임베딩된 질문으로 질의합니다. 동일한 벡터는 검색 증강 생성, 중복 제거 및 거의 중복된 항목 탐지, 클러스터링 및 주제 그룹화, 그리고 입력을 레이블이 지정된 예제와 비교할 때의 분류 또는 라우팅을 지원합니다. 이 모델은 32,000 토큰의 컨텍스트를 처리하므로 전체 페이지나 긴 구절을 직접 임베딩할 수 있으며, 이는 코드 검색, 지원 티켓 분류, 내부 지식 기반에 적합합니다. 더 낮은 차원 옵션은 수백만 개의 벡터를 저장하면서 인덱스를 작게 유지하려는 경우에 중요합니다.

api14의 OpenAI 호환 API를 통해 모델 id "voyageai/voyage-4-lite"를 사용하여 호출합니다. 엔드포인트가 OpenAI 임베딩 형태를 따르므로 기존 클라이언트와 라이브러리는 base URL과 모델 id만 변경하면 작동합니다. 이 모델은 추가로 지원되는 파라미터를 노출하지 않으므로, 요청은 임베딩 엔드포인트가 허용하는 표준 필드(예: 입력 텍스트와 모델 id)에 의존합니다. 임베딩 모델에는 해당되지 않으므로 샘플링, temperature 또는 도구 구성은 설정할 것이 없습니다.

작업이 텍스트 생성, 요약 또는 추론이라면 이 모델은 잘못된 선택이며 채팅 모델이 더 적합합니다. voyage-4-lite는 또한 경량 범용으로 설명되므로, 특수하거나 고도로 기술적인 코퍼스에서 가장 강력한 검색 품질이 필요하다면 더 큰 Voyage 임베딩 모델이 더 가능성 높은 선택입니다.