Inference.net: Schematron V2 Small

Inference.net : Schematron V2 Small est un modèle de texte d'Inference.net. C'est un modèle d'extraction HTML vers JSON de 3 milliards de paramètres, et le fournisseur le décrit comme privilégiant la qualité d'extraction pour les schémas complexes et les pages longues. Il appartient à la catégorie texte, il est donc destiné au travail sur le langage et les documents plutôt qu'aux images, à l'audio ou à d'autres modalités.

Le modèle prend du texte en entrée et renvoie du texte en sortie. Sa fenêtre de contexte est de 128 000 tokens, ce qui lui permet de traiter des pages longues en une seule requête, et sa sortie maximale est de 4 096 tokens. Le fournisseur indique que les instructions d'extraction doivent être fournies via un schéma JSON, le schéma est donc le mécanisme qui indique au modèle quoi extraire du HTML et comment structurer le résultat.

Ces caractéristiques orientent vers un ensemble d'usages assez spécifique. Le plus évident est la transformation de pages HTML en JSON structuré, par exemple l'extraction de détails de produits, d'annonces, de métadonnées d'articles ou d'autres champs répétitifs à partir de pages dont la mise en page varie. Comme le modèle est conçu pour des schémas complexes, il convient aux cas où la structure cible comporte des objets imbriqués ou de nombreux champs plutôt que quelques valeurs plates. Le contexte long aide lorsque le contenu pertinent se trouve loin dans une page ou lorsqu'une seule page contient de nombreux enregistrements à extraire. C'est un modèle texte en entrée, texte en sortie, il s'intègre donc dans des pipelines où le HTML est récupéré ailleurs et transmis au modèle pour analyse.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "inference-net/schematron-v2-small". Les paramètres de requête qu'il prend en charge sont frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k et top_p. Pour le travail d'extraction, response_format et structured_outputs sont les paramètres les plus directement pertinents pour obtenir un JSON dans la forme demandée, tandis que seed aide lorsque vous voulez des résultats reproductibles d'une exécution à l'autre. Les contrôles d'échantillonnage tels que temperature, top_p, top_k et min_p vous permettent d'arbitrer entre variation et cohérence, et max_tokens plafonne la longueur du JSON renvoyé.

Gardez à l'esprit la limite de sortie : 4 096 tokens est le plafond d'une réponse unique, les tâches d'extraction très volumineuses devront donc peut-être être réparties sur plusieurs appels même si le côté entrée peut contenir 128 000 tokens. Le modèle est également uniquement textuel, les pages qui dépendent d'images ou d'une mise en page rendue devront donc être traitées avant de lui être transmises. Si votre tâche est du chat général, du raisonnement ou de la génération plutôt que de l'extraction pilotée par schéma à partir de HTML, un modèle de texte généraliste conviendra probablement mieux.