Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small è un modello di testo di Inference.net. È un modello di estrazione da HTML a JSON con 3 miliardi di parametri, e il provider lo descrive come orientato a privilegiare la qualità di estrazione per schemi complessi e pagine lunghe. Si colloca nella categoria testo, quindi è pensato per il lavoro di elaborazione di linguaggio e documenti piuttosto che per immagini, audio o altre modalità.

Il modello prende testo come input e restituisce testo come output. La sua finestra di contesto è di 128.000 token, ed è ciò che gli consente di elaborare pagine lunghe in una singola richiesta, mentre il suo output massimo è di 4.096 token. Il provider osserva che le istruzioni di estrazione devono essere fornite tramite uno schema JSON, quindi lo schema è il meccanismo che indica al modello cosa estrarre dall'HTML e come dare forma al risultato.

Queste caratteristiche indicano un insieme di utilizzi piuttosto specifico. Quello ovvio è trasformare pagine HTML in JSON strutturato, per esempio estrarre dettagli di prodotti, elenchi, metadati di articoli o altri campi ripetuti da pagine che variano nel layout. Poiché il modello è costruito per schemi complessi, si adatta a casi in cui la struttura di destinazione ha oggetti annidati o molti campi anziché un paio di valori piatti. Il contesto lungo aiuta quando il contenuto rilevante è sepolto in fondo a una pagina o quando una singola pagina contiene molti record da estrarre. È un modello testo in ingresso e testo in uscita, quindi si inserisce in pipeline in cui l'HTML viene recuperato altrove e passato al modello per l'analisi.

Lo si chiama tramite l'API compatibile con OpenAI di api14 usando l'id del modello "inference-net/schematron-v2-small". I parametri di richiesta supportati sono frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. Per il lavoro di estrazione, response_format e structured_outputs sono i parametri più direttamente rilevanti per ottenere un JSON nella forma richiesta, mentre seed aiuta quando si desiderano risultati ripetibili tra esecuzioni. I controlli di campionamento come temperature, top_p, top_k e min_p permettono di scambiare variazione con coerenza, e max_tokens limita la lunghezza del JSON restituito.

Tenere presente il limite di output: 4.096 token è il tetto per una singola risposta, quindi lavori di estrazione molto grandi potrebbero dover essere suddivisi in più chiamate anche se il lato input può contenere 128.000 token. Il modello è inoltre solo testo, quindi le pagine che dipendono da immagini o layout renderizzato dovranno essere gestite prima di arrivare al modello. Se il tuo compito è chat generica, ragionamento o generazione anziché estrazione guidata da schema da HTML, un modello di testo generico è probabilmente più adatto.