Google: Gemini Embedding 2

Google: Gemini Embedding 2 to model embeddingowy od Google, wymieniony na api14 pod identyfikatorem modelu google/gemini-embedding-2. Należy do kategorii embeddings i jest opisywany przez Google jako pierwszy multimodalny model embeddingowy firmy. Zamiast generować odpowiedzi czatu, przekształca dane wejściowe w wektory, które można przechowywać i porównywać, co czyni go elementem składowym systemów wyszukiwania i wyszukiwania informacji, a nie asystentem, z którym rozmawiasz bezpośrednio.

Model przyjmuje dane wejściowe w postaci tekstu, obrazu, pliku, dźwięku i wideo, a jego jedynym trybem wyjściowym są embeddingi. Opis Google wskazuje, że tekst i obrazy są obecnie obsługiwane pod kątem mapowania do ujednoliconej przestrzeni wektorowej na potrzeby wyszukiwania semantycznego i generowania wspomaganego wyszukiwaniem (RAG). Okno kontekstu wynosi 8192 tokeny, a maksymalne wyjście to 7372. Ponieważ wyjściem jest wektor, a nie tekst ciągły, należy oczekiwać, że wynik będzie wykorzystywany programistycznie, na przykład poprzez zapisanie go do indeksu wektorowego, a nie odczytywany jako tekst.

Te możliwości wskazują na dość konkretny zestaw zastosowań. Wyszukiwanie semantyczne w zbiorze dokumentów jest tym oczywistym: raz wygeneruj embeddingi dla swojego korpusu, wygeneruj embedding zapytania w momencie żądania i uszereguj wyniki według podobieństwa wektorowego. Potoki RAG wynikają z tego samego pomysłu, gdzie pobrane fragmenty są przekazywane do osobnego modelu generującego. Obsługa multimodalnych danych wejściowych oznacza, że można również zbudować wyszukiwanie mieszające tekst i obrazy w jednej przestrzeni wektorowej, co pasuje do katalogów, bibliotek multimediów lub dowolnego zbioru, w którym zapytanie słowne powinno móc ujawnić odpowiedni obraz. Dane wejściowe audio i wideo są wymienione jako akceptowane modalności, więc indeksowanie tych zasobów jest również możliwe, choć opis Google wskazuje tylko tekst i obrazy jako obecnie mapowane do ujednoliconej przestrzeni.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu google/gemini-embedding-2. Ponieważ interfejs jest zgodny z konwencją embeddingów OpenAI, istniejące klienty i zestawy SDK, które już wskazują na bazowy adres URL zgodny z OpenAI, powinny działać przy minimalnych zmianach. Model nie wymienia żadnych obsługiwanych parametrów, więc w treści żądania nie ma nic dodatkowego do dostrojenia poza standardowymi polami wywołania embeddingów, takimi jak identyfikator modelu i dane wejściowe. Jeśli przenosisz istniejący potok, sprawdź, czy nie polegasz na opcjonalnych parametrach, których ten model nie akceptuje.

Jedną praktyczną kwestią jest okno kontekstu wynoszące 8192 tokeny. Dane wejściowe dłuższe niż to należy podzielić przed wygenerowaniem embeddingów, a strategia dzielenia wpłynie na jakość wyszukiwania, więc zaplanuj to, zamiast zakładać, że całe dokumenty się zmieszczą. Pamiętaj również, że ten model tworzy wyłącznie embeddingi. Jeśli Twoja aplikacja potrzebuje generowanego tekstu, podsumowań lub odpowiedzi, będziesz potrzebować osobnego modelu czatu lub uzupełniania obok niego, przy czym Gemini Embedding 2 obsłuży stronę wyszukiwania w potoku.