Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small is een tekstmodel van Inference.net. Het is een HTML-naar-JSON-extractiemodel met 3B parameters, en de provider beschrijft het als een model dat prioriteit geeft aan extractiekwaliteit voor complexe schema's en lange pagina's. Het valt in de categorie tekst, dus het is gericht op taal- en documentverwerking in plaats van afbeeldingen, audio of andere modaliteiten.

Het model neemt tekst als invoer en retourneert tekst als uitvoer. Het contextvenster is 128.000 tokens, waardoor het lange pagina's in een enkele aanvraag kan verwerken, en de maximale uitvoer is 4.096 tokens. De provider merkt op dat extractie-instructies moeten worden aangeleverd via een JSON-schema, dus het schema is het mechanisme dat het model vertelt wat het uit de HTML moet halen en hoe het resultaat vorm moet krijgen.

Die kenmerken wijzen op een vrij specifieke set toepassingen. De voor de hand liggende is het omzetten van HTML-pagina's naar gestructureerde JSON, bijvoorbeeld het ophalen van productdetails, aanbiedingen, artikeltmetadata of andere terugkerende velden uit pagina's met een wisselende lay-out. Omdat het model is gebouwd voor complexe schema's, is het geschikt voor gevallen waarin de doelstructuur geneste objecten of veel velden heeft in plaats van een paar platte waarden. De lange context helpt wanneer de relevante inhoud ver onderaan een pagina staat of wanneer een enkele pagina veel records bevat om te extraheren. Het is een tekst-in, tekst-uit-model, dus het past in pipelines waarin HTML elders wordt opgehaald en aan het model wordt gegeven voor parsing.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "inference-net/schematron-v2-small". De aanvraagparameters die het ondersteunt zijn frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k en top_p. Voor extractiewerk zijn response_format en structured_outputs de parameters die het meest direct relevant zijn om JSON terug te krijgen in de vorm die je hebt gevraagd, terwijl seed helpt wanneer je herhaalbare resultaten wilt over meerdere runs. Sampling-besturingen zoals temperature, top_p, top_k en min_p laten je variatie inruilen voor consistentie, en max_tokens begrenst de lengte van de geretourneerde JSON.

Houd rekening met de uitvoerlimiet: 4.096 tokens is het plafond voor een enkele response, dus zeer grote extractietaken moeten mogelijk worden opgesplitst over meerdere aanroepen, ook al kan de invoerkant 128.000 tokens bevatten. Het model is ook alleen tekst, dus pagina's die afhankelijk zijn van afbeeldingen of gerenderde lay-out moeten worden behandeld voordat ze het model bereiken. Als je taak algemene chat, redenering of generatie is in plaats van schema-gestuurde extractie uit HTML, dan is een algemeen tekstmodel waarschijnlijk beter geschikt.