Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 to model embeddingów od Intfloat. Należy do kategorii embeddingów, co oznacza, że jego zadaniem jest zamiana tekstu na wektory, a nie generowanie odpowiedzi w czacie. Dostawca opisuje go jako odwzorowujący angielskie zdania, akapity i dokumenty w 1024-wymiarową gęstą przestrzeń wektorową, z celem uzyskania wysokiej dokładności embeddingów semantycznych. Jeśli Twoja aplikacja potrzebuje reprezentacji tekstu, która oddaje znaczenie, a nie pisemną odpowiedź, to właśnie po taki model byś sięgnął.

Model przyjmuje tekst jako jedyny modalność wejściową i produkuje embeddingi jako jedyny modalność wyjściową. Jego długość kontekstu wynosi 512 tokenów, więc każde żądanie jest ograniczone do dość krótkiego fragmentu tekstu, a maksymalne wyjście to 460. Nie ma obrazu, dźwięku ani innych danych wejściowych innych niż tekst, i nie ma generowanej prozy po stronie wyjściowej. Wszystko, co model zwraca, to wektor, który następnie przechowujesz, porównujesz lub przekazujesz do kolejnego etapu swojego potoku.

Te cechy wskazują na konkretny zestaw zastosowań. Wyszukiwanie informacji jest najjaśniejszym z nich: raz osadź swoje dokumenty, osadź zapytanie w momencie żądania i porównaj wektory, aby znaleźć najbliższe fragmenty. Wyszukiwanie semantyczne działa w ten sam sposób, dopasowując na podstawie znaczenia, a nie dokładnych słów kluczowych. Dostawca wymienia również reranking i ocenianie podobieństwa, więc możesz użyć wektorów do zmiany kolejności wyników kandydujących lub do zmierzenia, jak blisko siebie są dwa fragmenty tekstu. Ponieważ wektory są 1024-wymiarowe i gęste, dobrze nadają się do przechowywania w indeksie wektorowym oraz do porównywania za pomocą cosinusa lub iloczynu skalarnego.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "intfloat/e5-large-v2". Ponieważ endpoint jest zgodny z formatem OpenAI, możesz skierować istniejącego klienta OpenAI na api14 i wysłać swój tekst w zwykły sposób, a następnie odczytać embedding z odpowiedzi. Model nie obsługuje żadnych dodatkowych parametrów żądania, więc nie ma nic poza standardowymi polami żądania do skonfigurowania. Utrzymaj każde wejście w granicach 512-tokenowego kontekstu i oczekuj, że wyjściem będzie sam embedding.

Głównym ograniczeniem, które trzeba zaplanować, jest to okno 512 tokenów. Długie dokumenty będą musiały zostać podzielone na fragmenty przed osadzeniem, a Ty będziesz musiał zdecydować, jak połączyć lub przechować wektory tych fragmentów. Model jest również skupiony na języku angielskim zgodnie z opisem dostawcy, więc tekst w innych językach może nie być osadzany tak niezawodnie. Jeśli Twoim zadaniem jest generowanie tekstu, rozmowa lub cokolwiek, co wymaga pisemnej odpowiedzi, model embeddingów jest niewłaściwym narzędziem i lepiej pasowałby model generatywny.