BAAI: bge-m3

BAAI: bge-m3 to model embeddingowy od BAAI, Beijing Academy of Artificial Intelligence. Należy do kategorii embeddings, co oznacza, że został zbudowany do zamiany tekstu na wektory, a nie do generowania odpowiedzi czatowych. Jeśli Twoja aplikacja potrzebuje modelu, który odpowiada na pytania lub pisze tekst, to nie jest ten rodzaj modelu; istnieje on po to, aby reprezentować tekst numerycznie, tak aby inne systemy mogły go porównywać, przeszukiwać i wyszukiwać.

Model przyjmuje tekst jako jedyne wejście i produkuje embeddingi jako jedyne wyjście. Według dostawcy koduje zdania, akapity i długie dokumenty do 1024-wymiarowej gęstej przestrzeni wektorowej, mając na celu dostarczanie wysokiej jakości embeddingów semantycznych. Jest zoptymalizowany pod wyszukiwanie wielojęzyczne, wyszukiwanie semantyczne i zastosowania z dużym kontekstem. Okno kontekstu wynosi 8194 tokenów, a maksymalne wyjście to 7374, więc dość długie fragmenty tekstu mogą być zakodowane w pojedynczym żądaniu, zamiast być dzielone na wiele małych fragmentów.

Te możliwości wskazują na jasny zestaw praktycznych zastosowań. Wyszukiwanie semantyczne jest najbardziej bezpośrednim z nich: zakoduj swoje dokumenty raz, zakoduj zapytanie użytkownika w momencie żądania i uszereguj dokumenty według podobieństwa wektorowego zamiast nakładania się słów kluczowych. Retrieval augmented generation to kolejne zastosowanie, w którym bge-m3 dostarcza połowę odpowiedzialną za wyszukiwanie, znajdując fragmenty semantycznie bliskie pytaniu, które następnie są przekazywane do oddzielnego modelu generatywnego. Ponieważ model jest wielojęzyczny, ten sam indeks może obsługiwać zapytania i dokumenty w różnych językach, co pasuje do wyszukiwania międzyjęzykowego, deduplikacji i grupowania kolekcji tekstów. Długie okno kontekstu pomaga również, gdy pojedynczy fragment dokumentu jest duży, ponieważ mniej fragmentów oznacza mniejsze rozdrobnienie znaczenia między wektorami.

Model wywołujesz przez API zgodne z OpenAI od api14, używając identyfikatora modelu "baai/bge-m3". Ponieważ interfejs jest zgodny z formatem OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy URL api14 i wysłać swój tekst do endpointu embeddings z tym identyfikatorem, bez przepisywania integracji. Model nie wymienia żadnych obsługiwanych parametrów poza tym, czego wymaga endpoint, więc utrzymuj żądania proste: podaj tekst wejściowy i identyfikator modelu, a następnie odczytaj zwrócone wektory. Nie ma tutaj ustawień próbkowania, takich jak temperature, do dostrojenia, ponieważ wyjściem są deterministyczne dane embeddingowe, a nie wygenerowane tokeny.

Jedna rzecz do zapamiętania to zakres. bge-m3 przyjmuje tylko tekst i zwraca tylko embeddingi, więc zadania takie jak streszczanie, klasyfikacja przez generowanie czy odpowiedzi konwersacyjne wymagają innego modelu obok niego. Kontekst 8194 tokenów jest hojny dla pracy wyszukiwawczej, ale wciąż skończony, więc bardzo duże dokumenty powinny być podzielone na fragmenty przed kodowaniem. W tych granicach jest to rozsądny wybór, gdy Twój problem zasadniczo dotyczy reprezentowania i porównywania tekstu.