VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 är en reranking-modell från Voyage AI, en leverantör vars rerankers distribueras under namnet VoyageAI by MongoDB. Den tillhör kategorin rerank, vilket betyder att dess uppgift inte är att generera text utan att ta en uppsättning kandidatdokument och ordna om dem efter relevans för en fråga. Om din applikation redan hämtar passager, chunkar eller sökresultat och du vill ha de bästa träffarna högst upp, är det den här typen av modell du skulle använda.

Modellen tar text som indata och producerar en reranking som utdata. Den har en kontextlängd på 32 000 tokens, vilket är budgeten som delas mellan frågan och de dokument du skickar in i en enskild begäran, och en maximal utdata på 28 800. Eftersom utdata är en rangordning snarare än genererad prosa bör du inte förvänta dig att den besvarar frågor, sammanfattar innehåll eller skriver kod. Dess enda bidrag är en relevansordning över de kandidater du tillhandahåller.

Praktiska användningsfall följer direkt av detta. En retrieval augmented generation-pipeline kan använda rerank-2.5 som ett andra steg efter en snabb vektor- eller nyckelordssökning, ta de bästa kandidaterna och ordna om dem så att de mest relevanta chunkarna är de som skickas till en genereringsmodell. Samma mönster gäller för företagssökning, dokumentationssökning och supportkunskapsbaser, där det första steget gynnar recall och rerankern återställer precision. Den är också användbar för deduplicering och prioriteringsuppgifter där du har fler kandidatpassager än du har råd att visa en användare eller mata in i en nedströms prompt.

Du anropar den via api14:s OpenAI-kompatibla API med modell-id:t "voyageai/rerank-2.5". Eftersom endpointen följer OpenAI-schemat kan du peka en befintlig OpenAI-klient mot api14:s bas-URL och skicka detta id i modellfältet. Modellens lista över stödda parametrar är tom, så det finns inga ytterligare inställningsalternativ att ange utöver vad själva rerank-begäran kräver, såsom frågan och de dokument som ska poängsättas. Håll begäranden inom kontexten på 32 000 tokens, och kom ihåg att frågan och varje kandidatdokument räknas in i den totalen.

När det gäller frågan om när man ska leta någon annanstans: rerank-2.5 hanterar bara text och returnerar bara en rangordning, så uppgifter som behöver bildindata, ljud eller genererad utdata ligger utanför dess omfång och tillhör en annan modell. Om du behöver en enda modell som både hämtar och svarar är en genereringsmodell ett bättre val, med rerank-2.5 eventuellt placerad framför den som ett precisionssteg.