Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small är en textmodell från Inference.net. Det är en HTML-till-JSON-extraktionsmodell med 3B parametrar, och leverantören beskriver den som prioriterande av extraktionskvalitet för komplexa scheman och långa sidor. Den tillhör kategorin text, så den är inriktad på språk- och dokumentbearbetning snarare än bilder, ljud eller andra modaliteter.

Modellen tar text som indata och returnerar text som utdata. Dess kontextfönster är 128 000 tokens, vilket är det som gör att den kan arbeta igenom långa sidor i en enda begäran, och dess maximala utdata är 4 096 tokens. Leverantören noterar att extraktionsinstruktioner måste tillhandahållas via ett JSON-schema, så schemat är mekanismen som talar om för modellen vad den ska plocka ut ur HTML:en och hur resultatet ska formas.

Dessa egenskaper pekar mot en ganska specifik uppsättning användningsområden. Det uppenbara är att omvandla HTML-sidor till strukturerad JSON, till exempel att plocka ut produktdetaljer, listningar, artikelmetadata eller andra upprepade fält ur sidor vars layout varierar. Eftersom modellen är byggd för komplexa scheman passar den fall där målstrukturen har nästlade objekt eller många fält snarare än ett par platta värden. Den långa kontexten hjälper när det relevanta innehållet ligger långt ned på en sida eller när en enda sida innehåller många poster att extrahera. Det är en text-in, text-ut-modell, så den passar pipelines där HTML hämtas någon annanstans och lämnas till modellen för parsning.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "inference-net/schematron-v2-small". Begäransparametrarna den stöder är frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k och top_p. För extraktionsarbete är response_format och structured_outputs de parametrar som är mest direkt relevanta för att få tillbaka JSON i den form du bad om, medan seed hjälper när du vill ha repeterbara resultat mellan körningar. Samplingskontroller som temperature, top_p, top_k och min_p låter dig byta variation mot konsekvens, och max_tokens begränsar längden på den returnerade JSON:en.

Tänk på utdatagränsen: 4 096 tokens är taket för en enskild respons, så mycket stora extraktionsjobb kan behöva delas upp över flera anrop även om indatasidan kan rymma 128 000 tokens. Modellen är också endast för text, så sidor som är beroende av bilder eller renderad layout måste hanteras innan de når den. Om din uppgift är allmän chatt, resonemang eller generering snarare än schemadriven extraktion från HTML, är en allmän textmodell sannolikt en bättre passning.