Intfloat: E5-Large-v2

Intfloat: E5-Large-v2는 Intfloat의 임베딩 모델입니다. 임베딩 카테고리에 속하며, 이는 채팅 응답을 생성하는 것이 아니라 텍스트를 벡터로 변환하는 것이 역할이라는 뜻입니다. 제공자는 이 모델이 영어 문장, 문단, 문서를 1024차원의 밀집 벡터 공간에 매핑한다고 설명하며, 목표는 높은 정확도의 의미 임베딩입니다. 애플리케이션에 작성된 답변이 아니라 의미를 담아내는 텍스트 표현이 필요하다면, 이런 종류의 모델을 선택하게 됩니다.

이 모델은 텍스트를 유일한 입력 모달리티로 받아들이고 임베딩을 유일한 출력 모달리티로 생성합니다. 컨텍스트 길이는 512 토큰이므로 각 요청은 상당히 짧은 텍스트 범위로 제한되며, 최대 출력은 460입니다. 이미지, 오디오 또는 기타 비텍스트 입력은 없고, 출력 측에도 생성된 산문은 없습니다. 모델이 반환하는 모든 것은 벡터이며, 이를 저장하거나 비교하거나 파이프라인의 다음 단계에 입력하게 됩니다.

이러한 특성은 특정한 용도 집합을 가리킵니다. 검색이 가장 명확한 예입니다. 문서를 한 번 임베딩하고, 요청 시점에 쿼리를 임베딩한 다음, 벡터를 비교하여 가장 가까운 구절을 찾습니다. 시맨틱 검색도 같은 방식으로 작동하며, 정확한 키워드가 아니라 의미를 기준으로 매칭합니다. 제공자는 재순위화와 유사도 점수 산정도 나열하므로, 벡터를 사용하여 후보 결과의 순서를 바꾸거나 두 텍스트 조각이 얼마나 가까운지 측정할 수 있습니다. 벡터가 1024차원이고 밀집되어 있기 때문에 벡터 인덱스에 저장하기에 적합하며 코사인 또는 내적 비교에도 적합합니다.

모델 id "intfloat/e5-large-v2"를 사용하여 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 엔드포인트가 OpenAI 형식을 따르므로 기존 OpenAI 클라이언트를 api14로 지정하고 평소처럼 텍스트를 보낸 다음, 응답에서 임베딩을 읽을 수 있습니다. 이 모델은 추가 요청 파라미터를 지원하지 않으므로 표준 요청 필드 외에 구성할 것은 없습니다. 각 입력을 512 토큰 컨텍스트 길이 안에 유지하고, 출력이 임베딩 자체일 것이라고 예상하십시오.

계획할 때 고려해야 할 주요 제약은 512 토큰 창입니다. 긴 문서는 임베딩하기 전에 청크로 나누어야 하며, 해당 청크 벡터를 어떻게 결합하거나 저장할지 결정해야 합니다. 또한 제공자 설명에 따르면 이 모델은 영어에 초점을 맞추고 있으므로 다른 언어의 텍스트는 임베딩이 그만큼 안정적이지 않을 수 있습니다. 작업이 텍스트 생성, 대화 또는 작성된 응답이 필요한 무엇이든 간에 임베딩 모델은 잘못된 도구이며 생성 모델이 더 적합할 것입니다.