ScaleDown: Extract

ScaleDown: Extract는 ScaleDown의 텍스트 모델로, 설명 기반 엔티티 추출을 위해 특별히 만들어졌습니다. 고정된 엔티티 유형 집합에서 선택하도록 강제하는 대신, 원하는 필드를 평범한 영어로 설명할 수 있게 해줍니다. 이 점이 이 모델을 일반 채팅 모델과 다른 종류의 도구로 만듭니다. 이 모델의 임무는 대상 필드에 대한 여러분의 설명을 바탕으로, 여러분이 제공하는 무엇이든에서 구조화된 정보를 끌어내는 것입니다.

이 모델은 텍스트, 이미지, 파일을 입력으로 받고 텍스트를 반환합니다. 컨텍스트 윈도우는 1,000,000 토큰이고, 최대 출력은 900,000 토큰입니다. 이렇게 매우 큰 입력 윈도우와 큰 출력 상한의 조합은 긴 문서나 혼합 미디어를 넘겨도 한 번의 호출로 상당한 추출 결과를 돌려받을 수 있다는 뜻입니다. 지원되는 매개변수 목록은 의도적으로 짧습니다. max_tokens만 노출되는데, 이는 다양한 샘플링 조절 값보다 여러분이 제공하는 엔티티 설명에 의해 주로 동작이 이끌리는 모델에 맞습니다.

실용적인 사용 사례는 이런 기능에서 바로 따라옵니다. 계약서, 청구서, 보고서, 스캔한 서류가 있고 특정 필드를 뽑아내야 한다면, 그 필드를 설명하고 모델이 찾도록 하면 됩니다. 텍스트와 함께 이미지와 파일도 받으므로, 같은 호출로 PDF, 스크린샷, 일반 텍스트 덤프를 형식별로 별도 파이프라인 없이 처리할 수 있습니다. 백만 토큰 컨텍스트는 관련 세부 정보가 긴 문서 곳곳에 흩어져 있어 직접 청크로 나누고 싶지 않을 때 유용합니다. 큰 출력 상한은 추출 결과 자체가 길 때, 예를 들어 많은 엔티티의 목록이나 표 형태의 구조일 때 도움이 됩니다.

모델 id "scaledown/extract"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 지원되는 요청 매개변수는 max_tokens뿐이므로 요청 형태를 단순하게 유지하고, 필드 설명은 제공자가 기대하는 위치인 provider.options.scaledown.entities 아래에 두세요. 인터페이스가 OpenAI 호환이므로 기존 클라이언트와 SDK는 일반적으로 모델 id와 엔드포인트만 바꾸면 작동하며, max_tokens를 설정해 워크로드에 맞게 응답 길이를 제한할 수 있습니다.

모델을 선택할 때 이 좁은 매개변수 범위는 주목할 만합니다. 작업에 창의적 생성, 다중 턴 대화, 또는 샘플링 동작에 대한 세밀한 제어가 필요하다면 범용 텍스트 모델이 더 잘 맞을 것입니다. Extract는 한 가지 작업을 목표로 하며, 많은 튜닝 옵션을 노출하는 대신 필드에 대한 여러분의 설명을 읽어 그 작업을 수행합니다. 필드를 스키마로 표현하는 것보다 말로 설명하는 편이 더 쉬운 추출 작업이라면, 먼저 시도해 볼 만한 합리적인 기본값입니다.