BAAI: bge-m3

BAAI: bge-m3는 BAAI, 즉 베이징 인공지능 아카데미의 임베딩 모델입니다. 이는 임베딩 범주에 속하는데, 채팅 응답을 생성하는 것이 아니라 텍스트를 벡터로 변환하도록 만들어졌다는 뜻입니다. 애플리케이션이 질문에 답하거나 텍스트를 작성하는 모델을 필요로 한다면, 이것은 그런 종류의 모델이 아닙니다. 이 모델은 다른 시스템이 텍스트를 비교, 검색, 검색해낼 수 있도록 텍스트를 수치로 표현하기 위해 존재합니다.

이 모델은 텍스트만을 유일한 입력으로 받고 임베딩만을 유일한 출력으로 생성합니다. 제공자에 따르면, 이 모델은 문장, 단락, 긴 문서를 1024차원의 밀집 벡터 공간으로 인코딩하며, 고품질 의미 임베딩을 제공하는 것을 목표로 합니다. 다국어 검색, 의미 검색, 대규모 컨텍스트 애플리케이션에 최적화되어 있습니다. 컨텍스트 윈도우는 8194 토큰이고 최대 출력은 7374이므로, 상당히 긴 텍스트 구절도 여러 작은 조각으로 나뉘지 않고 단일 요청으로 인코딩될 수 있습니다.

이러한 기능은 명확한 실용적 용도들을 가리킵니다. 의미 검색이 가장 직접적인 용도입니다. 문서를 한 번 인코딩하고, 요청 시점에 사용자 쿼리를 인코딩한 다음, 키워드 중복 대신 벡터 유사도로 문서의 순위를 매깁니다. 검색 증강 생성도 또 다른 용도인데, 여기서 bge-m3는 질문과 의미적으로 가까운 구절을 찾아 검색 부분을 담당하고, 그 구절들은 별도의 생성 모델로 전달됩니다. 이 모델은 다국어이므로 동일한 인덱스가 서로 다른 언어의 쿼리와 문서를 처리할 수 있어, 교차 언어 검색, 중복 제거, 텍스트 컬렉션 클러스터링에 적합합니다. 긴 컨텍스트 윈도우는 단일 문서 청크가 클 때도 도움이 됩니다. 청크가 적을수록 벡터 전반에 걸친 의미의 분절이 줄어들기 때문입니다.

이 모델은 모델 id "baai/bge-m3"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 형식을 따르므로, 기존 OpenAI 클라이언트를 api14의 기본 URL로 지정하고 해당 id와 함께 텍스트를 임베딩 엔드포인트로 보낼 수 있으며, 통합을 다시 작성할 필요가 없습니다. 이 모델은 엔드포인트가 요구하는 것 외에 지원되는 매개변수를 나열하지 않으므로, 요청을 단순하게 유지하세요. 입력 텍스트와 모델 id를 제공하고 반환된 벡터를 읽으면 됩니다. 출력이 생성된 토큰이 아니라 결정론적 임베딩 데이터이므로, 여기에는 조정할 temperature 같은 샘플링 제어가 없습니다.

한 가지 명심할 점은 범위입니다. bge-m3는 텍스트만 받아들이고 임베딩만 반환하므로, 요약, 생성을 통한 분류, 대화형 응답 같은 작업에는 다른 모델이 함께 필요합니다. 8194 토큰 컨텍스트는 검색 작업에 넉넉하지만 여전히 유한하므로, 매우 큰 문서는 인코딩 전에 청크로 나누어야 합니다. 이러한 범위 안에서, 문제가 근본적으로 텍스트를 표현하고 비교하는 것에 관한 것이라면 이 모델은 합리적인 선택입니다.