ScaleDown: Classify-1

ScaleDown: Classify-1 to ustrukturyzowany model decyzyjny od ScaleDown, udostępniany przez Decisions API dostawcy. Zamiast generować dowolny tekst, jest zbudowany do odpowiadania na pytania zdefiniowane z góry, co sytuuje go w kategorii decyzji, a nie w kategorii ogólnego czatu. Jeśli oceniasz modele na api14, praktyczne pytanie nie brzmi, czy dobrze pisze, ale czy twoje zadanie można ująć jako wybór, pytanie tak/nie lub uporządkowaną skalę.

Model przyjmuje jako dane wejściowe tekst, obrazy i pliki, więc możesz wysłać fragment tekstu, zeskanowaną stronę lub dokument i mieć go ocenionego bezpośrednio. Jego modalność wyjściowa to decyzje: ocenia dostarczone dane wejściowe względem pytań zdefiniowanych przez wywołującego i zwraca skalibrowane prawdopodobieństwa. Okno kontekstu wynosi 1 000 000 tokenów, a maksymalne wyjście to 900 000, co oznacza, że długie dokumenty i duże partie materiału można obsłużyć w jednym żądaniu bez dzielenia na fragmenty. Nie ma generowania dowolnego tekstu do przetworzenia, więc otrzymujesz ustrukturyzowane odpowiedzi zamiast zdań, które musisz interpretować.

Taki kształt wyjścia wskazuje na dość konkretny zestaw zastosowań. Routing i triage pasują naturalnie: decydowanie, do której kolejki należy zgłoszenie, albo czy przychodząca wiadomość spełnia warunek tak/nie, zanim trafi do człowieka. Przegląd dokumentów to kolejny przypadek, ponieważ pliki i obrazy są akceptowane, więc możliwa jest klasyfikacja formularzy, faktur lub zeskanowanych rekordów względem ustalonego zestawu kategorii. Pytania o uporządkowanej skali pasują do oceny sentymentu lub wagi problemu, a ponieważ model zwraca prawdopodobieństwa, a nie jedną etykietę, możesz ustawić własny próg pewności i przekazywać przypadki o niskiej pewności gdzie indziej. Każdy workflow, w którym potrzebujesz spójnej, powtarzalnej oceny dla wielu elementów, pasuje lepiej niż taki, w którym potrzebujesz rozbudowanego wyjaśnienia.

Wywołujesz go przez OpenAI-compatible API api14, używając identyfikatora modelu "scaledown/classify-1". Ponieważ interfejs jest zgodny z OpenAI, istniejące klienty i SDK działają po zmianie bazowego URL i identyfikatora modelu. Zwróć uwagę, że lista obsługiwanych parametrów jest pusta, więc nie zakładaj, że parametry sterujące próbkowaniem, takie jak temperature lub top_p, są akceptowane; wyślij identyfikator modelu, swoje dane wejściowe i pytania, które chcesz ocenić, i polegaj na wartościach domyślnych. Sprawdź bieżącą tabelę cen na tej stronie, aby poznać aktualne stawki.

Głównym ograniczeniem do rozważenia jest sam format wyjścia. Classify-1 zwraca decyzje, nie tekst, więc jeśli twoja aplikacja potrzebuje pisemnego podsumowania, odpowiedzi konwersacyjnej lub jakiegokolwiek generowanego contentu, lepiej pasuje ogólny model tekstowy. Warto też potwierdzić, że twoje pytania można wyrazić jako wybory, tak/nie lub uporządkowaną skalę, ponieważ to właśnie ramy, wokół których model jest zaprojektowany. W tych granicach, i przy tak dużym oknie kontekstu, to rozsądny wybór do klasyfikacji o dużym wolumenie, gdzie chcesz prawdopodobieństw, na których możesz działać, a nie tekstu, który musisz przetwarzać.