Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small, Inference.net tarafından sunulan bir metin modelidir. 3B parametreli bir HTML'den JSON'a çıkarım modelidir ve sağlayıcı bunu karmaşık şemalar ve uzun sayfalar için çıkarım kalitesini önceliklendiren bir model olarak tanımlar. Metin kategorisinde yer alır, yani görüntüler, ses veya diğer modaliteler yerine dil ve belge işleme işlerine yöneliktir.

Model girdi olarak metin alır ve çıktı olarak metin döndürür. Bağlam penceresi 128.000 tokendır, bu da uzun sayfaları tek bir istekte işleyebilmesini sağlar ve maksimum çıktısı 4.096 tokendır. Sağlayıcı, çıkarım talimatlarının bir JSON şeması aracılığıyla verilmesi gerektiğini belirtir, yani şema modele HTML'den neyi çekmesi ve sonucu nasıl biçimlendirmesi gerektiğini söyleyen mekanizmadır.

Bu özellikler oldukça belirli bir kullanım kümesine işaret eder. En belirgin olanı, HTML sayfalarını yapılandırılmış JSON'a dönüştürmektir; örneğin düzeni değişen sayfalardan ürün ayrıntılarını, listeleri, makale meta verilerini veya diğer yinelenen alanları çekmek. Model karmaşık şemalar için üretildiğinden, hedef yapının birkaç düz değer yerine iç içe nesneler veya çok sayıda alan içerdiği durumlara uygundur. Uzun bağlam, ilgili içerik sayfanın çok altına gömüldüğünde veya tek bir sayfa çıkarılacak çok sayıda kayıt içerdiğinde yardımcı olur. Metin girişli, metin çıkışlı bir modeldir, dolayısıyla HTML'nin başka bir yerde alınıp ayrıştırma için modele verildiği ardışık düzenlere uyar.

Modeli api14'ün OpenAI uyumlu API'si üzerinden "inference-net/schematron-v2-small" model id'si ile çağırırsınız. Desteklediği istek parametreleri frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k ve top_p'dir. Çıkarım işleri için response_format ve structured_outputs, JSON'u istediğiniz biçimde geri almakla en doğrudan ilgili parametrelerdir; seed ise çalıştırmalar arasında tekrarlanabilir sonuçlar istediğinizde yardımcı olur. temperature, top_p, top_k ve min_p gibi örnekleme kontrolleri, çeşitliliği tutarlılıkla değiştirmenize olanak tanır ve max_tokens döndürülen JSON'un uzunluğunu sınırlar.

Çıktı sınırını aklınızda tutun: 4.096 token tek bir yanıt için üst sınırdır, bu nedenle girdi tarafı 128.000 token tutabilse de çok büyük çıkarım işlerinin birden fazla çağrıya bölünmesi gerekebilir. Model ayrıca yalnızca metinle çalışır, dolayısıyla görüntülere veya işlenmiş düzene bağlı sayfaların modele ulaşmadan önce ele alınması gerekir. Göreviniz HTML'den şema güdümlü çıkarım yerine genel sohbet, akıl yürütme veya üretim ise, genel amaçlı bir metin modeli muhtemelen daha iyi bir seçimdir.