Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 to model embeddingowy z Sentence Transformers, rodziny modeli stworzonych do zamiany tekstu na wektory. Należy do kategorii embeddings, co oznacza, że jest zaprojektowany do tworzenia reprezentacji tekstu, a nie do generowania samego tekstu. Model koduje zdania i krótkie akapity w 768-wymiarową gęstą przestrzeń wektorową, a jego dostawca pozycjonuje go jako opcję wysokiej wierności do zadań semantycznych.

Po stronie danych wejściowych model przyjmuje wyłącznie tekst. Po stronie danych wyjściowych zwraca embeddingi, a nie słowa czy wiadomości czatu, więc nie należy oczekiwać, że odpowie na pytania lub poprowadzi rozmowę. Długość kontekstu wynosi 512 tokenów, a maksymalne wyjście to 460. Obie liczby mają znaczenie w praktyce: okno 512 tokenów obejmuje zdanie lub krótki akapit, a wszystko dłuższe trzeba podzielić przed wysłaniem. Zwracany embedding to wektor 768-wymiarowy.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Wyszukiwanie informacji pasuje tu naturalnie, gdy osadzasz zapytanie i korpus, a następnie je porównujesz. Klastrowanie to kolejne zastosowanie, ponieważ zdania położone blisko siebie w 768-wymiarowej przestrzeni często należą do tego samego tematu. Ocena podobieństwa wynika z tego bezpośrednio, na przykład ranking kandydatów na fragmenty względem odniesienia lub wykrywanie tekstu niemal identycznego. Ponieważ model obsługuje zdania i krótkie akapity, te zadania działają najlepiej, gdy każde osadzane dane wejściowe są krótkie i samodzielne.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "sentence-transformers/all-mpnet-base-v2". Ponieważ interfejs jest zgodny ze strukturą embeddings OpenAI, istniejące klienty i biblioteki kierowane na ten endpoint można wskazać na api14 bez specjalnej obsługi. Zwróć uwagę, że ten model nie wymienia żadnych obsługiwanych parametrów, więc treść żądania powinna zawierać identyfikator modelu i tekst wejściowy, a nie należy polegać na tym, że opcjonalne ustawienia, takie jak dimensions czy encoding format, zostaną zastosowane.

Kontekst 512 tokenów i limit wyjścia 460 to główne ograniczenia praktyczne w tym przypadku. Jeśli Twój tekst jest dłuższy niż zdanie lub krótki akapit, podziel go na fragmenty i osadź każdy z nich, a następnie połącz wyniki. A jeśli tak naprawdę potrzebujesz wygenerowanego tekstu, a nie wektorów, lepiej sprawdzi się generatywny model czatu; ten model tworzy wyłącznie embeddingi.