Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small ist ein Textmodell von Inference.net. Es ist ein HTML-zu-JSON-Extraktionsmodell mit 3B Parametern, und der Anbieter beschreibt es als auf Extraktionsqualität für komplexe Schemas und lange Seiten ausgerichtet. Es gehört zur Kategorie Text und zielt somit auf Sprach- und Dokumentverarbeitung ab, nicht auf Bilder, Audio oder andere Modalitäten.

Das Modell nimmt Text als Eingabe und gibt Text als Ausgabe zurück. Sein Kontextfenster beträgt 128.000 Token, was es ermöglicht, lange Seiten in einer einzigen Anfrage zu verarbeiten, und seine maximale Ausgabe beträgt 4.096 Token. Der Anbieter weist darauf hin, dass Extraktionsanweisungen über ein JSON-Schema bereitgestellt werden müssen, das Schema ist also der Mechanismus, der dem Modell mitteilt, was aus dem HTML extrahiert und wie das Ergebnis geformt werden soll.

Diese Eigenschaften deuten auf eine ziemlich spezifische Gruppe von Anwendungsfällen hin. Der offensichtliche ist die Umwandlung von HTML-Seiten in strukturiertes JSON, zum Beispiel das Herausziehen von Produktdetails, Auflistungen, Artikel-Metadaten oder anderen wiederkehrenden Feldern aus Seiten, deren Layout variiert. Da das Modell für komplexe Schemas gebaut ist, eignet es sich für Fälle, in denen die Zielstruktur verschachtelte Objekte oder viele Felder aufweist statt nur ein paar flacher Werte. Der lange Kontext hilft, wenn der relevante Inhalt weit unten auf einer Seite vergraben ist oder wenn eine einzelne Seite viele zu extrahierende Datensätze enthält. Es ist ein Text-in-Text-out-Modell und passt daher in Pipelines, in denen HTML an anderer Stelle abgerufen und dem Modell zum Parsen übergeben wird.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "inference-net/schematron-v2-small" auf. Die unterstützten Anforderungsparameter sind frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k und top_p. Für Extraktionsarbeit sind response_format und structured_outputs die Parameter, die am direktesten relevant sind, um JSON in der gewünschten Form zurückzubekommen, während seed hilft, wenn Sie über mehrere Durchläufe hinweg wiederholbare Ergebnisse wünschen. Sampling-Steuerungen wie temperature, top_p, top_k und min_p lassen Sie Variation gegen Konsistenz abwägen, und max_tokens begrenzt die Länge des zurückgegebenen JSON.

Behalten Sie das Ausgabelimit im Auge: 4.096 Token sind die Obergrenze für eine einzelne Antwort, daher müssen sehr große Extraktionsaufträge möglicherweise auf mehrere Aufrufe aufgeteilt werden, obwohl die Eingabeseite 128.000 Token aufnehmen kann. Das Modell ist außerdem reiner Text, daher müssen Seiten, die auf Bilder oder gerendertes Layout angewiesen sind, behandelt werden, bevor sie das Modell erreichen. Wenn Ihre Aufgabe allgemeiner Chat, Reasoning oder Generierung ist statt schema-getriebener Extraktion aus HTML, ist ein allgemeines Textmodell wahrscheinlich besser geeignet.