VoyageAI by MongoDB: rerank-3

VoyageAI von MongoDB: rerank-3 ist ein Reranking-Modell von Voyage AI, einem Anbieter, der jetzt Teil von MongoDB ist. Es gehört zur Kategorie Rerank, und Voyage AI positioniert es als optimierten Reranker und als direkten Upgrade für rerank-2.5. Dies ist kein Chat- oder Textgenerierungsmodell: Es existiert, um eine Menge von Kandidatendokumenten entgegenzunehmen und sie nach Relevanz für eine Anfrage neu zu ordnen.

Das Modell arbeitet mit Texteingabe und erzeugt Reranking-Ausgabe. Es hat eine Kontextlänge von 32.000 Tokens, was groß genug ist, um eine Anfrage zusammen mit einer beträchtlichen Menge von Kandidatenpassagen in einem einzigen Aufruf unterzubringen. Die maximale Ausgabe beträgt 28.800. Da es sich um einen Reranker handelt, ist die Form einer Antwort eine ranggeordnete Reihenfolge der von Ihnen gelieferten Dokumente, nicht freier Text. Für dieses Modell sind keine unterstützten Parameter aufgeführt, daher sollten Aufrufer nicht die Sampling-Steuerungen (temperature, top_p und ähnliche) erwarten, die für generative Modelle gelten.

Die praktischen Anwendungsfälle ergeben sich direkt aus diesem Design. Ein häufiges Muster ist eine zweistufige Retrieval-Pipeline: Eine schnelle Vektor- oder Stichwortsuche liefert eine breite Menge von Kandidaten, dann ordnet rerank-3 sie neu, sodass die relevantesten Ergebnisse oben erscheinen. Dies verbessert die Qualität von Suchergebnissen, den Kontext für retrieval-augmented generation, die Beantwortung von Fragen über eine Dokumentsammlung sowie Empfehlungs- oder Matching-Funktionen, bei denen Relevanzranking wichtig ist. Da der Anbieter Verbesserungen bei Bewertungen für lange Dokumente beschreibt, ist es auch dann sinnvoll, wenn die zu bewertenden Passagen lang statt kurzer Ausschnitte sind.

Um es über api14 aufzurufen, verwenden Sie die Modell-ID "voyageai/rerank-3" gegen den OpenAI-kompatiblen Endpunkt. Da api14 eine OpenAI-kompatible API bereitstellt, richten Sie Ihren vorhandenen Client auf das Gateway und übergeben diese ID als Modell. Da das Modell keine unterstützten Parameter auflistet, sollten Sie eine einfache Anfrage mit Ihrer Anfrage und den zu ordnenden Dokumenten senden und sich auf das eigene Ranking-Verhalten des Modells verlassen, statt Decoding-Einstellungen abzustimmen.

Eine erwähnenswerte Einschränkung ist der Umfang. rerank-3 ordnet nur Text neu; es erzeugt keine Antworten oder Zusammenfassungen. Wenn Sie also ein Modell benötigen, das Text produziert, würden Sie es mit einem generativen Modell kombinieren. Wenn Ihre Pipeline außerdem keinen separaten Retrieval-Schritt hat und Sie nur eine erstmalige Embedding-Suche benötigen, kann ein dediziertes Embedding-Modell der einfachere Ausgangspunkt sein, wobei rerank-3 später hinzugefügt wird, um die Reihenfolge zu verfeinern.