Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small은 Inference.net의 텍스트 모델입니다. 3B 파라미터의 HTML-to-JSON 추출 모델이며, 제공자는 복잡한 스키마와 긴 페이지에 대해 추출 품질을 우선시한다고 설명합니다. 텍스트 카테고리에 속하므로 이미지, 오디오 또는 다른 모달리티가 아닌 언어 및 문서 처리 작업을 대상으로 합니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환합니다. 컨텍스트 윈도우는 128,000 토큰으로, 이를 통해 단일 요청에서 긴 페이지를 처리할 수 있으며, 최대 출력은 4,096 토큰입니다. 제공자는 추출 지침이 JSON 스키마를 통해 제공되어야 한다고 명시하므로, 스키마는 모델에게 HTML에서 무엇을 추출하고 결과를 어떻게 구성할지 알려주는 메커니즘입니다.

이러한 특성은 상당히 구체적인 사용 사례 집합을 가리킵니다. 가장 명확한 것은 HTML 페이지를 구조화된 JSON으로 변환하는 것으로, 예를 들어 레이아웃이 다양한 페이지에서 제품 세부 정보, 목록, 기사 메타데이터 또는 기타 반복 필드를 추출하는 것입니다. 이 모델은 복잡한 스키마를 위해 만들어졌기 때문에, 대상 구조에 중첩 객체나 많은 필드가 있는 경우에 적합하며, 단순한 몇 개의 평면 값에는 그렇지 않습니다. 긴 컨텍스트는 관련 콘텐츠가 페이지 아래쪽 깊숙이 묻혀 있거나 단일 페이지에 추출할 레코드가 많을 때 도움이 됩니다. 텍스트 입력, 텍스트 출력 모델이므로 HTML을 다른 곳에서 가져와 파싱을 위해 모델에 넘기는 파이프라인에 적합합니다.

모델 id "inference-net/schematron-v2-small"을 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k 및 top_p입니다. 추출 작업의 경우 response_format과 structured_outputs가 요청한 형태로 JSON을 받는 데 가장 직접적으로 관련된 파라미터이며, seed는 실행 간 반복 가능한 결과를 원할 때 도움이 됩니다. temperature, top_p, top_k 및 min_p와 같은 샘플링 제어를 통해 다양성과 일관성을 맞바꿀 수 있고, max_tokens는 반환되는 JSON의 길이를 제한합니다.

출력 제한을 염두에 두십시오. 4,096 토큰은 단일 응답의 상한이므로, 입력 측이 128,000 토큰을 담을 수 있더라도 매우 큰 추출 작업은 여러 호출로 나누어야 할 수 있습니다. 또한 이 모델은 텍스트 전용이므로 이미지나 렌더링된 레이아웃에 의존하는 페이지는 모델에 도달하기 전에 처리해야 합니다. 작업이 HTML에서 스키마 기반 추출이 아니라 일반 채팅, 추론 또는 생성이라면, 범용 텍스트 모델이 더 적합할 가능성이 높습니다.