VoyageAI by MongoDB: rerank-3

VoyageAI av MongoDB: rerank-3 är en omrangordningsmodell från Voyage AI, en leverantör som nu är en del av MongoDB. Den tillhör kategorin rerank, och Voyage AI positionerar den som en optimerad omrangordnare och en direkt uppgradering av rerank-2.5. Detta är inte en chatt- eller textgenereringsmodell: den finns för att ta en uppsättning kandidatdokument och ordna om dem efter relevans för en fråga.

Modellen arbetar med textinmatning och producerar omrangordnad utdata. Den har en kontextlängd på 32 000 tokens, vilket är tillräckligt stort för att rymma en fråga tillsammans med en betydande mängd kandidatpassager i ett enda anrop. Maximal utdata är 28 800. Eftersom det är en omrangordnare är formen på ett svar en rangordnad ordning av de dokument du skickar in, inte fritext. Det finns inga listade parametrar som stöds för denna modell, så anropare bör inte förvänta sig de samplingskontroller (temperature, top_p och liknande) som gäller för generativa modeller.

De praktiska användningsfallen följer direkt av den designen. Ett vanligt mönster är en tvåstegs hämtningspipeline: en snabb vektor- eller nyckelordssökning returnerar en bred uppsättning kandidater, sedan ordnar rerank-3 om dem så att de mest relevanta resultaten hamnar överst. Detta förbättrar kvaliteten på sökresultat, kontext för retrieval-augmented generation, frågebesvarande över en dokumentsamling samt rekommendations- eller matchningsfunktioner där relevansrangordning spelar roll. Eftersom leverantören beskriver förbättringar vid utvärderingar av långa dokument är den också en rimlig lösning när passagerna som rangordnas är långa snarare än korta utdrag.

För att anropa den via api14, använd modell-id:t "voyageai/rerank-3" mot den OpenAI-kompatibla slutpunkten. Eftersom api14 exponerar ett OpenAI-kompatibelt API pekar du din befintliga klient mot gatewayen och skickar det id:t som model. Eftersom modellen inte listar några parametrar som stöds bör du skicka en enkel begäran med din fråga och dokumenten som ska rangordnas, och förlita dig på modellens eget rangordningsbeteende i stället för att justera avkodningsinställningar.

En begränsning värd att notera är omfattningen. rerank-3 rangordnar bara om text; den genererar inte svar eller sammanfattningar, så om du behöver en modell som producerar text skulle du kombinera den med en generativ modell. Om din pipeline inte har något separat hämtningssteg och du bara behöver en förstapass-embedding-sökning kan en dedikerad embedding-modell vara den enklare startpunkten, med rerank-3 tillagd senare för att förfina ordningen.