VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite to model embeddingowy od Voyage AI, firmy stojącej za rodziną modeli wyszukiwania Voyage, obecnie częścią MongoDB. Należy do kategorii embeddings, a nie chat, co oznacza, że nie generuje tekstu. Zamiast tego zamienia tekst na wektory, które przechowujesz i porównujesz. Jest pozycjonowany jako lekki, ogólnego przeznaczenia model, stworzony z myślą o niskich opóźnieniach i kosztach, a nie o maksymalnej dokładności w najtrudniejszych problemach wyszukiwania.

Model przyjmuje tekst jako dane wejściowe i zwraca embeddingi jako dane wyjściowe. Jego długość kontekstu wynosi 32 000 tokenów, a maksymalne wyjście to 28 800, więc długie dokumenty można osadzać bez dzielenia ich na wiele małych fragmentów. Voyage AI wytrenowało go z użyciem uczenia Matryoshka i treningu świadomego kwantyzacji, co pozwala jednemu modelowi generować embeddingi o wymiarach 2048, 1024, 512 i 256. Wybierasz wymiar, który pasuje do twojego budżetu pamięci i opóźnień, a krótsze wektory pozostają użyteczne, zamiast tracić jakość.

Te właściwości wskazują na dość konkretny zestaw zastosowań. Wyszukiwanie semantyczne w kolekcji dokumentów, gdzie raz osadzasz fragmenty, a następnie odpytujesz je za pomocą osadzonego pytania, to podstawowy przypadek. Te same wektory obsługują generowanie wspomagane wyszukiwaniem, deduplikację i wykrywanie niemal identycznych elementów, grupowanie i klastrowanie tematyczne oraz klasyfikację lub routing, gdy porównujesz dane wejściowe z oznaczonymi przykładami. Ponieważ model obsługuje 32 000 tokenów kontekstu, możesz osadzać całe strony lub długie fragmenty bezpośrednio, co pasuje do wyszukiwania kodu, triage zgłoszeń supportowych i wewnętrznych baz wiedzy. Opcje niższych wymiarów mają znaczenie, gdy przechowujesz miliony wektorów i chcesz utrzymać mały indeks.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "voyageai/voyage-4-lite". Ponieważ endpoint zachowuje kształt embeddingów OpenAI, istniejące klienty i biblioteki działają po zmianie tylko bazowego URL i identyfikatora modelu. Model nie udostępnia żadnych dodatkowych obsługiwanych parametrów, więc żądania opierają się na standardowych polach akceptowanych przez endpoint embeddingów, takich jak tekst wejściowy i identyfikator modelu. Nie ma próbkowania, temperatury ani konfiguracji narzędzi do ustawienia, ponieważ nic z tego nie dotyczy modelu embeddingowego.

Jeśli twoim zadaniem jest generowanie tekstu, streszczanie lub rozumowanie, to jest zły model i lepiej sprawdzi się model chat. voyage-4-lite jest również opisywany jako lekki i ogólnego przeznaczenia, więc jeśli potrzebujesz najwyższej jakości wyszukiwania w specjalistycznych lub wysoce technicznych korpusach, większy model embeddingowy Voyage będzie bardziej prawdopodobnym wyborem.