VoyageAI by MongoDB: voyage-4-large

VoyageAI by MongoDB: voyage-4-large to model embeddingowy od Voyage AI, dostawcy, którego modele są dystrybuowane pod nazwą VoyageAI by MongoDB. Należy do kategorii embeddings, co oznacza, że został zbudowany do zamiany tekstu na wektory, a nie do generowania odpowiedzi w czacie. Jeśli wybierasz model do potoku wyszukiwania lub podobieństwa, to jest właśnie ten rodzaj modelu, który oceniasz pod kątem jakości embeddingów, a nie zdolności konwersacyjnych.

Model przyjmuje tekst jako jedyny modalność wejściowy i zwraca embeddingi jako jedyne wyjście. Ma długość kontekstu 32 000 tokenów, więc pojedyncze żądanie może objąć dość długi dokument lub partię krótszych fragmentów. Dostawca opisuje go jako nowoczesny embedding ogólnego przeznaczenia i wielojęzyczny, zoptymalizowany pod kątem jakości wyszukiwania. Wykorzystuje uczenie Matryoshka i trening świadomy kwantyzacji oraz obsługuje embeddingi o wymiarach 2048, 1024, 512 i 256. Maksymalne wyjście jest podane jako 28 800, co stanowi górny limit po stronie wyjścia embeddingów w żądaniu.

Te możliwości wskazują na konkretny zestaw zastosowań. Wyszukiwanie semantyczne i wyszukiwanie w kolekcji dokumentów to najbardziej bezpośrednie zastosowanie, ponieważ model jest dostrojony pod kątem jakości wyszukiwania i może tworzyć embeddingi długich fragmentów w kontekście 32 000 tokenów. Zbiory wielojęzyczne są również rozsądnym celem, biorąc pod uwagę trening wielojęzyczny. Ponieważ embeddingi można skracać do 2048, 1024, 512 lub 256 wymiarów, możesz wymieniać rozmiar wektora na koszt przechowywania i szybkość wyszukiwania, w zależności od tego, ile precyzji potrzebuje Twój indeks. Klastrowanie, deduplikacja i ocena podobieństwa tekstu to inne naturalne zastosowania, podobnie jak budowanie indeksu wektorowego, który zasila oddzielny model generujący.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "voyageai/voyage-4-large". Ponieważ endpoint jest zgodny z formatem OpenAI, możesz skierować istniejącego klienta OpenAI na api14 i wysyłać żądania embeddingów bez przepisywania integracji. Lista obsługiwanych parametrów modelu jest pusta, więc nie ma dodatkowych parametrów żądania do skonfigurowania poza tym, czego wymaga standardowe wywołanie embeddingów. Traktuj identyfikator modelu jako jedyną wartość specyficzną dla modelu, którą musisz ustawić.

Jednym praktycznym ograniczeniem, o którym warto pamiętać, jest to, że ten model obsługuje wyłącznie wejście tekstowe i produkuje wyłącznie embeddingi. Nie może generować tekstu, odpowiadać na pytania ani wykonywać instrukcji, więc każde zastosowanie wymagające pisemnej odpowiedzi wymaga obok niego oddzielnego modelu generującego. Kontekst 32 000 tokenów jest hojny jak na pracę z embeddingami, ale wciąż skończony, więc bardzo duże dokumenty trzeba podzielić na fragmenty przed utworzeniem embeddingów. Jeśli Twoje zadanie polega na generowaniu, a nie wyszukiwaniu, lepszym wyborem będzie model czatu lub uzupełniania.