OpenAI: Text Embedding 3 Small

OpenAI: Text Embedding 3 Small은 OpenAI의 임베딩 모델로, api14에 모델 id openai/text-embedding-3-small로 등록되어 있습니다. 이 모델은 embeddings 카테고리에 속하며, OpenAI는 이를 ada 임베딩 모델의 개선되고 더 성능이 좋은 버전이라고 설명합니다. 채팅 답변을 생성하는 대신 임베딩을 생성하는데, 이는 두 텍스트 조각이 얼마나 관련되어 있는지 측정하는 데 사용되는 텍스트의 수치적 표현입니다.

이 모델은 텍스트를 유일한 입력 모달리티로 받아들이고 임베딩을 유일한 출력 모달리티로 반환하므로, 문자열을 벡터로 변환하는 파이프라인에 적합하며 대화형 시스템에는 맞지 않습니다. 컨텍스트 길이는 8192 토큰으로, 분할하기 전에 단일 요청이 처리할 수 있는 텍스트 양의 상한을 설정합니다. 세부 정보에는 최대 출력 7372도 나와 있는데, 더 긴 문서를 어떻게 청크할지 결정할 때 기억해 둘 유용한 수치입니다.

실용적인 용도는 이러한 형태에서 직접 따라옵니다. 임베딩을 사용하면 텍스트 간의 관련성을 측정할 수 있으므로, 이 모델은 쿼리와 코퍼스를 임베딩하고 유사도로 문서의 순위를 매기는 시맨틱 검색에 적합합니다. 검색 증강 생성도 또 다른 일반적인 적합 사례로, 임베딩으로 구축된 검색 계층이 관련 구절을 별도의 생성 모델에 공급할 수 있습니다. 같은 속성은 대규모 텍스트 컬렉션에 대한 클러스터링과 주제 그룹화, 거의 동일한 콘텐츠의 중복 제거, 벡터 위에 가벼운 분류기를 훈련할 때의 분류, 그리고 텍스트 설명으로 항목을 비교하는 추천 또는 유사도 기능을 지원합니다. 8192 토큰 컨텍스트는 각 입력이 단일 문장이 아니라 상당한 분량의 구절이 될 수 있음을 의미하며, 이는 고립된 줄이 아니라 전체 섹션을 임베딩할 때 도움이 됩니다.

모델 id openai/text-embedding-3-small을 사용하여 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 인터페이스가 OpenAI 형식을 따르므로, 기존 OpenAI 클라이언트 라이브러리와 embeddings 엔드포인트를 대상으로 하는 코드는 최소한의 변경으로 api14를 가리킬 수 있습니다. 모델의 지원되는 파라미터 목록은 비어 있으므로, embeddings 호출의 표준 요청 구조 외에 문서화된 추가 요청 파라미터는 없습니다. 모델 id와 텍스트 입력을 제공하면 벡터 출력을 받습니다. 텍스트를 어떻게 청크할지 또는 결과 벡터를 어떻게 비교할지와 같은 원하는 튜닝은 모델 파라미터가 아니라 자체 파이프라인에서 이루어집니다.

텍스트 입력과 임베딩 출력만 처리하므로, 생성된 텍스트, 도구 호출 또는 대화형 동작이 필요할 때는 이 모델이 올바른 선택이 아닙니다. 그러한 경우는 채팅 또는 완성 모델이 담당합니다. 또한 고정된 컨텍스트 윈도우를 가진 임베딩 모델이므로, 매우 긴 문서는 임베딩 전에 여전히 분할해야 합니다. 이러한 범위 내에서, OpenAI 호환 엔드포인트 뒤에서 작고 최신인 OpenAI 임베딩 모델을 원하는 팀에게 합리적인 기본 선택입니다.