VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 to model rerankingu od Voyage AI, dostawcy, którego rerankery są dystrybuowane pod nazwą VoyageAI by MongoDB. Należy do kategorii rerank, co oznacza, że jego zadaniem nie jest generowanie tekstu, lecz przyjęcie zestawu dokumentów kandydujących i uporządkowanie ich według trafności względem zapytania. Jeśli Twoja aplikacja już pobiera fragmenty, chunki lub wyniki wyszukiwania i chcesz mieć najlepsze dopasowania na górze, to jest właśnie ten rodzaj modelu, po który warto sięgnąć.

Model przyjmuje tekst jako dane wejściowe i zwraca reranking jako dane wyjściowe. Ma długość kontekstu 32 000 tokenów, co stanowi budżet współdzielony między zapytanie i dokumenty przesłane w jednym żądaniu, oraz maksymalne wyjście 28 800. Ponieważ wyjściem jest ranking, a nie wygenerowana proza, nie należy oczekiwać, że będzie odpowiadać na pytania, streszczać treści ani pisać kodu. Jego cały wkład to uporządkowanie kandydatów według trafności.

Praktyczne przypadki użycia wynikają bezpośrednio z tego. Potok generowania wspomaganego wyszukiwaniem może użyć rerank-2.5 jako drugiego etapu po szybkim wyszukiwaniu wektorowym lub słownikowym, biorąc najlepszych kandydatów i zmieniając ich kolejność tak, aby najbardziej trafne chunki trafiły do modelu generującego. Ten sam wzorzec stosuje się do wyszukiwania w przedsiębiorstwie, wyszukiwania w dokumentacji i baz wiedzy obsługi klienta, gdzie pierwszy etap faworyzuje pełność, a reranker przywraca precyzję. Jest również przydatny w zadaniach deduplikacji i priorytetyzacji, gdy masz więcej fragmentów kandydujących, niż możesz pokazać użytkownikowi lub przekazać do dalszego promptu.

Wywołujesz go przez API zgodne z OpenAI w api14, używając identyfikatora modelu "voyageai/rerank-2.5". Ponieważ endpoint jest zgodny ze schematem OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy adres URL api14 i przekazać ten identyfikator w polu model. Lista obsługiwanych parametrów modelu jest pusta, więc nie ma dodatkowych opcji dostrajania poza tym, czego wymaga samo żądanie rerankingu, takich jak zapytanie i dokumenty do oceny. Utrzymuj żądania w kontekście 32 000 tokenów, pamiętając, że zapytanie i każdy dokument kandydujący wliczają się do tej sumy.

Co do pytania, kiedy szukać gdzie indziej: rerank-2.5 obsługuje wyłącznie tekst i zwraca wyłącznie ranking, więc zadania wymagające danych wejściowych w postaci obrazu, dźwięku lub wygenerowanego wyjścia są poza jego zakresem i należą do innego modelu. Jeśli potrzebujesz jednego modelu zarówno do wyszukiwania, jak i odpowiadania, lepszym wyborem jest model generujący, a rerank-2.5 można opcjonalnie umieścić przed nim jako etap precyzji.