VoyageAI by MongoDB : rerank-2.5 est un modèle de reranking de VoyageAI by MongoDB. Il appartient à la catégorie rerank, ce qui signifie que son rôle est de prendre un ensemble existant de résultats candidats et de les réordonner par pertinence plutôt que de générer du nouveau texte à partir de zéro. C'est un modèle de texte, et sa sortie est un résultat de reranking.
Le modèle accepte du texte en entrée et produit une sortie réordonnée. Il a une longueur de contexte de 32 000 tokens et une sortie maximale de 28 800. Comme il s'agit d'un reranker, il ne rédige pas de prose, ne répond pas à des questions et ne tient pas de conversation. À la place, il note et ordonne des passages par rapport à une requête, ce qui est l'étape qui se situe généralement entre une passe de récupération initiale et l'ensemble final de documents transmis à un modèle en aval ou montrés à un utilisateur.
Cette forme le rend utile partout où la qualité de la récupération compte. Un schéma courant est un pipeline de recherche en deux étapes : une recherche vectorielle ou par mots-clés rapide renvoie une large liste de candidats, et rerank-2.5 réordonne ces candidats afin que les éléments les plus pertinents se retrouvent en haut. Cela s'applique à la génération augmentée par récupération, où un meilleur ordonnancement signifie que le générateur voit le contexte le plus fort en premier, ainsi qu'à la recherche sur la documentation, les tickets de support, les bases de connaissances internes ou les catalogues de produits. Cela convient également aux travaux d'évaluation et de curation de données, où vous avez besoin d'un ordre de pertinence cohérent sur un large ensemble de paires requête et document.
Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle "mongodb/rerank-2.5". Comme le point de terminaison suit le format OpenAI, vous pouvez pointer un client OpenAI existant vers api14 en changeant l'URL de base et en passant cet id de modèle dans votre requête. Le modèle ne liste aucun paramètre pris en charge, donc il n'y a aucune option d'échantillonnage ou de génération à régler ; vous envoyez votre requête et vos documents et recevez l'ordre réordonné en retour. Le contexte de 32 000 tokens est le budget à garder en tête lorsque vous décidez combien de candidats soumettre en un seul appel.
Si votre tâche est la génération de texte, le résumé, le chat ou l'utilisation d'outils, un reranker n'est pas le bon outil et un modèle génératif conviendra mieux. rerank-2.5 se traite mieux comme une étape dans un pipeline plutôt que comme un assistant autonome, et il est surtout précieux lorsque vous avez déjà un ensemble de candidats qui nécessite un ordonnancement plus précis.