VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 ist ein Reranking-Modell von Voyage AI, einem Anbieter, dessen Reranker unter dem Namen VoyageAI by MongoDB vertrieben werden. Es gehört zur Kategorie Rerank, was bedeutet, dass seine Aufgabe nicht darin besteht, Text zu generieren, sondern eine Menge von Kandidatendokumenten entgegenzunehmen und sie nach Relevanz für eine Anfrage neu zu ordnen. Wenn Ihre Anwendung bereits Passagen, Chunks oder Suchergebnisse abruft und Sie die besten Treffer oben haben möchten, ist dies die Art von Modell, zu der Sie greifen würden.

Das Modell akzeptiert Text als Eingabe und erzeugt als Ausgabe ein Reranking. Es hat eine Kontextlänge von 32.000 Tokens, was das Budget ist, das sich die Anfrage und die Dokumente, die Sie in einer einzelnen Anfrage übermitteln, teilen, sowie eine maximale Ausgabe von 28.800. Da die Ausgabe eine Rangfolge und keine generierte Prosa ist, sollten Sie nicht erwarten, dass es Fragen beantwortet, Inhalte zusammenfasst oder Code schreibt. Sein gesamter Beitrag ist eine Relevanzreihenfolge über die von Ihnen bereitgestellten Kandidaten.

Praktische Anwendungsfälle ergeben sich direkt daraus. Eine Retrieval-Augmented-Generation-Pipeline kann rerank-2.5 als zweite Stufe nach einer schnellen Vektor- oder Stichwortsuche verwenden, indem sie die besten Kandidaten nimmt und sie neu ordnet, sodass die relevantesten Chunks diejenigen sind, die an ein Generierungsmodell weitergegeben werden. Dasselbe Muster gilt für Unternehmenssuche, Dokumentation und Support-Wissensdatenbanken, wo die erste Stufe den Recall begünstigt und der Reranker die Präzision wiederherstellt. Es eignet sich auch für Deduplizierungs- und Priorisierungsaufgaben, bei denen Sie mehr Kandidatenpassagen haben, als Sie einem Benutzer zeigen oder in einen nachgelagerten Prompt eingeben können.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "voyageai/rerank-2.5" auf. Da der Endpunkt dem OpenAI-Schema folgt, können Sie einen vorhandenen OpenAI-Client auf die Basis-URL von api14 richten und diese ID im Feld model übergeben. Die Liste der unterstützten Parameter des Modells ist leer, es gibt also keine zusätzlichen Tuning-Optionen, die über das hinausgehen, was das Reranking selbst erfordert, wie die Anfrage und die zu bewertenden Dokumente. Halten Sie Anfragen innerhalb des Kontexts von 32.000 Tokens und beachten Sie, dass die Anfrage und jedes Kandidatendokument zu dieser Gesamtsumme zählen.

Zur Frage, wann Sie sich woanders umsehen sollten: rerank-2.5 verarbeitet nur Text und gibt nur eine Rangfolge zurück, daher liegen Aufgaben, die Bildeingabe, Audio oder generierte Ausgabe erfordern, außerhalb seines Anwendungsbereichs und gehören zu einem anderen Modell. Wenn Sie ein einzelnes Modell benötigen, das sowohl abruft als auch antwortet, ist ein Generierungsmodell die bessere Wahl, wobei rerank-2.5 optional davor als Präzisionsstufe platziert werden kann.