VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 is een reranking-model van Voyage AI, een provider wiens rerankers worden gedistribueerd onder de naam VoyageAI by MongoDB. Het valt in de categorie rerank, wat betekent dat het niet als taak heeft tekst te genereren, maar een set kandidaat-documenten te nemen en deze te herordenen op relevantie voor een query. Als je applicatie al passages, chunks of zoekresultaten ophaalt en je de beste matches bovenaan wilt, is dit het soort model dat je zou pakken.

Het model accepteert tekst als invoer en produceert een reranking als uitvoer. Het heeft een contextlengte van 32.000 tokens, het budget dat wordt gedeeld over de query en de documenten die je in een enkele aanvraag indient, en een maximale uitvoer van 28.800. Omdat de uitvoer een rangschikking is en geen gegenereerd proza, moet je niet verwachten dat het vragen beantwoordt, inhoud samenvat of code schrijft. De hele bijdrage is een relevantie-ordering over de kandidaten die je aanlevert.

Praktische use cases volgen daar direct uit. Een retrieval augmented generation-pipeline kan rerank-2.5 gebruiken als tweede fase na een snelle vector- of zoekopdracht op trefwoorden, waarbij de beste kandidaten worden genomen en herordend zodat de meest relevante chunks degene zijn die aan een generatiemodel worden doorgegeven. Hetzelfde patroon geldt voor enterprise search, documentatiezoekopdrachten en support-knowledgebases, waar de eerste fase recall bevoordeelt en de reranker precisie herstelt. Het is ook nuttig voor deduplicatie- en prioriteringstaken waarbij je meer kandidaat-passages hebt dan je een gebruiker kunt tonen of in een downstream prompt kunt stoppen.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "voyageai/rerank-2.5". Omdat het endpoint het OpenAI-schema volgt, kun je een bestaande OpenAI-client op de base URL van api14 richten en dit id in het model-veld doorgeven. De lijst met ondersteunde parameters van het model is leeg, dus er zijn geen额外的 afstemmingsopties in te stellen naast wat de rerank-aanvraag zelf vereist, zoals de query en de documenten die moeten worden gescoord. Houd aanvragen binnen de context van 32.000 tokens, en onthoud dat de query en elk kandidaat-document meetellen in dat totaal.

Over de vraag wanneer je elders moet kijken: rerank-2.5 verwerkt alleen tekst en retourneert alleen een rangschikking, dus taken die beeldinvoer, audio of gegenereerde uitvoer nodig hebben vallen buiten zijn bereik en horen bij een ander model. Als je één model nodig hebt dat zowel ophaalt als antwoordt, is een generatiemodel beter geschikt, waarbij rerank-2.5 optioneel ervoor kan worden geplaatst als precisiefase.