Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers: all-MiniLM-L6-v2 to model embeddingowy z Sentence Transformers, wymieniony na api14 w kategorii embeddings. To kompaktowy model embeddingów zdań, a nie model czatu ani generowania tekstu, więc jego zadaniem jest zamiana tekstu na wektory, które oddają znaczenie. Jeśli budujesz wyszukiwanie semantyczne, deduplikację lub grupowanie, to jest właśnie ten rodzaj modelu, po który sięgasz, a nie model generatywny.

Model przyjmuje tekst jako dane wejściowe i zwraca embeddingi jako dane wyjściowe. Odwzorowuje zdania i krótkie akapity w 384-wymiarowej gęstej przestrzeni wektorowej, co czyni go użytecznym do reprezentacji semantycznej. Okno kontekstu wynosi 512 tokenów, a maksymalne wyjście to 460, więc jest zaprojektowany dla zdań i krótkich fragmentów, a nie długich dokumentów. Nie ma obsługi parametrów próbkowania ani stylu generowania, ponieważ model nie generuje tekstu.

Te możliwości wskazują na dość konkretny zestaw przypadków użycia. Wyszukiwanie informacji i wyszukiwanie semantyczne to te oczywiste: osadź swoje dokumenty i zapytanie, a następnie porównaj wektory pod kątem podobieństwa. Grupowanie i kategoryzacja tematyczna działają dobrze, ponieważ bliskie wektory zwykle oznaczają podobne znaczenia. Ta sama właściwość pomaga w deduplikacji, wykrywaniu niemal identycznych dokumentów oraz budowaniu potoków rekomendacji lub rerankingu, gdzie potrzebujesz szybkiego, małego kroku embeddingu. Ponieważ wektory mają tylko 384 wymiary, przechowywanie i porównywanie pozostają tanie na dużą skalę.

Wywołujesz go przez OpenAI-compatible API api14, używając identyfikatora modelu "sentence-transformers/all-minilm-l6-v2". Ponieważ endpoint jest zgodny z kształtem embeddingów OpenAI, wysyłasz tekst w polu input i odczytujesz wektor z odpowiedzi. Model nie wymienia żadnych obsługiwanych parametrów, więc nie ma nic dodatkowego do dostrojenia w treści żądania poza identyfikatorem modelu i samym wejściem. Traktuj kontekst 512 tokenów jako twardą granicę podczas przygotowywania danych wejściowych.

Ten limit kontekstu jest głównym praktycznym ograniczeniem. Jeśli twoja jednostka znaczenia jest dłuższa niż krótki akapit, będziesz musiał podzielić ją na fragmenty przed embeddingiem, a jakość twojego dzielenia będzie ważniejsza niż cokolwiek innego w potoku. Jeśli potrzebujesz modelu, który generuje tekst, odpowiada na pytania lub wykonuje instrukcje, model embeddingowy jest niewłaściwym narzędziem i powinieneś zamiast tego spojrzeć na model czatu lub uzupełniania. Do podobieństwa semantycznego zdań i krótkich fragmentów ten model pasuje bezpośrednio do zadania.