Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small é um modelo de texto da Inference.net. É um modelo de extração de HTML para JSON com 3 mil milhões de parâmetros, e o fornecedor descreve-o como dando prioridade à qualidade de extração para esquemas complexos e páginas longas. Situa-se na categoria de texto, pelo que se destina a trabalho de processamento de linguagem e documentos, e não a imagens, áudio ou outras modalidades.

O modelo recebe texto como entrada e devolve texto como saída. A sua janela de contexto é de 128.000 tokens, que é o que lhe permite processar páginas longas num único pedido, e a sua saída máxima é de 4.096 tokens. O fornecedor observa que as instruções de extração têm de ser fornecidas através de um esquema JSON, pelo que o esquema é o mecanismo que indica ao modelo o que extrair do HTML e como moldar o resultado.

Estas características apontam para um conjunto bastante específico de utilizações. A mais óbvia é transformar páginas HTML em JSON estruturado, por exemplo extraindo detalhes de produtos, listagens, metadados de artigos ou outros campos repetidos de páginas cujo layout varia. Como o modelo foi concebido para esquemas complexos, adequa-se a casos em que a estrutura alvo tem objetos aninhados ou muitos campos, em vez de apenas alguns valores simples. O contexto longo ajuda quando o conteúdo relevante está enterrado muito abaixo numa página ou quando uma única página contém muitos registos a extrair. É um modelo de texto para texto, pelo que se encaixa em pipelines em que o HTML é obtido noutro local e entregue ao modelo para análise.

Pode chamá-lo através da API compatível com OpenAI da api14 usando o id de modelo "inference-net/schematron-v2-small". Os parâmetros de pedido que suporta são frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. Para trabalho de extração, response_format e structured_outputs são os parâmetros mais diretamente relevantes para obter JSON de volta na forma que pediu, enquanto seed ajuda quando quer resultados repetíveis entre execuções. Controlos de amostragem como temperature, top_p, top_k e min_p permitem trocar variação por consistência, e max_tokens limita o comprimento do JSON devolvido.

Tenha em conta o limite de saída: 4.096 tokens é o teto para uma única resposta, pelo que trabalhos de extração muito grandes podem ter de ser divididos por vários pedidos, mesmo que o lado da entrada possa conter 128.000 tokens. O modelo é também apenas de texto, pelo que páginas que dependem de imagens ou de layout renderizado terão de ser tratadas antes de chegarem ao modelo. Se a sua tarefa for conversa geral, raciocínio ou geração em vez de extração orientada por esquema a partir de HTML, um modelo de texto de uso geral será provavelmente mais adequado.