VoyageAI by MongoDB: rerank-3

VoyageAI od MongoDB: rerank-3 to model rerankingu od Voyage AI, dostawcy, ktory jest teraz czescia MongoDB. Nalezy do kategorii rerank, a Voyage AI pozycjonuje go jako zoptymalizowany reranker i bezposredni zamiennik ulepszajacy rerank-2.5. To nie jest model czatu ani generowania tekstu: sluzy do przyjmowania zestawu dokumentow kandydujacych i porzadkowania ich wedlug trafnosci wzgledem zapytania.

Model dziala na wejsciu tekstowym i zwraca wynik rerankingu. Ma dlugosc kontekstu 32,000 tokenow, co wystarcza, aby pomiescic zapytanie wraz z pokazna partia fragmentow kandydujacych w jednym wywolaniu. Maksymalne wyjscie to 28,800. Poniewaz jest to reranker, ksztalt odpowiedzi to uszeregowana kolejnosc dostarczonych dokumentow, a nie swobodna proza. Dla tego modelu nie wymieniono zadnych obslugiwanych parametrow, wiec wywolujacy nie powinni oczekiwac kontroli probkowania (temperature, top_p i podobnych), ktore maja zastosowanie do modeli generatywnych.

Praktyczne przypadki uzycia wynikaja bezposrednio z tej konstrukcji. Czesc wspolnym wzorcem jest dwuetapowy potok wyszukiwania: szybkie wyszukiwanie wektorowe lub slowa kluczowego zwraca szeroki zestaw kandydatow, a nastepnie rerank-3 porzadkuje je tak, aby najbardziej trafne wyniki znalazly sie na gorze. Poprawia to jakosc wynikow wyszukiwania, kontekstu generowania wspomaganego wyszukiwaniem, odpowiadania na pytania na podstawie zbioru dokumentow oraz funkcji rekomendacji lub dopasowywania, w ktorych liczy sie ranking trafnosci. Poniewaz dostawca opisuje zyski w ocenach dlugich dokumentow, model ten jest takze rozsadnym wyborem, gdy rankowane fragmenty sa dlugie, a nie krotkie.

Aby wywolac go przez api14, uzyj identyfikatora modelu "voyageai/rerank-3" na endpointcie zgodnym z OpenAI. Poniewaz api14 udostepnia API zgodne z OpenAI, kierujesz swoj istniejacy klient na bramę i przekazujesz ten identyfikator jako model. Poniewaz model nie wymienia zadnych obslugiwanych parametrow, powinienes wyslac zwykle zadanie z zapytaniem i dokumentami do uszeregowania, i polegac na wlasnym zachowaniu rankingu modelu, a nie na dostrajaniu ustawien dekodowania.

Jednym ograniczeniem wartym odnotowania jest zakres. rerank-3 tylko rerankuje tekst; nie generuje odpowiedzi ani podsumowan, wiec jesli potrzebujesz modelu, ktory tworzy tekst, polaczysz go z modelem generatywnym. Ponadto, jesli twoj potok nie ma osobnego etapu wyszukiwania i potrzebujesz tylko wstepnego wyszukiwania embeddingowego, dedykowany model embeddingowy moze byc prostszym punktem wyjscia, a rerank-3 dodany pozniej doprecyzuje kolejnosc.