Inference.net: Schematron V2 Small

Inference.net: Schematron V2 Small to model tekstowy od Inference.net. Jest to model do ekstrakcji HTML do JSON z 3 miliardami parametrów, a dostawca opisuje go jako priorytetowo traktujący jakość ekstrakcji w przypadku złożonych schematów i długich stron. Należy do kategorii tekstowej, więc jest ukierunkowany na pracę z językiem i dokumentami, a nie na obrazy, dźwięk lub inne modalności.

Model przyjmuje tekst jako dane wejściowe i zwraca tekst jako dane wyjściowe. Jego okno kontekstowe wynosi 128 000 tokenów, co pozwala mu przetwarzać długie strony w jednym żądaniu, a maksymalna długość danych wyjściowych to 4096 tokenów. Dostawca zauważa, że instrukcje ekstrakcji muszą być dostarczone przez schemat JSON, więc schemat jest mechanizmem, który mówi modelowi, co ma wyciągnąć z HTML i jak ukształtować wynik.

Te cechy wskazują na dość konkretny zestaw zastosowań. Oczywistym jest zamiana stron HTML na ustrukturyzowany JSON, na przykład wyciąganie szczegółów produktów, ofert, metadanych artykułów lub innych powtarzalnych pól ze stron o zróżnicowanym układzie. Ponieważ model jest zbudowany dla złożonych schematów, pasuje do przypadków, w których docelowa struktura ma zagnieżdżone obiekty lub wiele pól, a nie kilka płaskich wartości. Długi kontekst pomaga, gdy istotna treść znajduje się daleko w dolnej części strony lub gdy pojedyncza strona zawiera wiele rekordów do wyodrębnienia. Jest to model typu tekst na wejściu, tekst na wyjściu, więc pasuje do potoków, w których HTML jest pobierany gdzie indziej i przekazywany modelowi do parsowania.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "inference-net/schematron-v2-small". Obsługiwane parametry żądania to frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k i top_p. W pracy związanej z ekstrakcją response_format i structured_outputs to parametry najbardziej bezpośrednio związane z otrzymaniem JSON w żądanym kształcie, a seed pomaga, gdy chcesz uzyskać powtarzalne wyniki między uruchomieniami. Kontrolki próbkowania, takie jak temperature, top_p, top_k i min_p, pozwalają wymieniać różnorodność na spójność, a max_tokens ogranicza długość zwracanego JSON.

Pamiętaj o limicie danych wyjściowych: 4096 tokenów to górny limit pojedynczej odpowiedzi, więc bardzo duże zadania ekstrakcji mogą wymagać podziału na wiele wywołań, mimo że strona wejściowa może pomieścić 128 000 tokenów. Model obsługuje wyłącznie tekst, więc strony zależne od obrazów lub renderowanego układu będą musiały zostać obsłużone, zanim do niego trafią. Jeśli Twoje zadanie to ogólny czat, rozumowanie lub generowanie, a nie ekstrakcja z HTML oparta na schemacie, ogólnego przeznaczenia model tekstowy będzie prawdopodobnie lepszym wyborem.