VoyageAI by MongoDB: rerank-3

VoyageAI par MongoDB : rerank-3 est un modèle de reranking de Voyage AI, un fournisseur désormais intégré à MongoDB. Il appartient à la catégorie rerank, et Voyage AI le présente comme un reranker optimisé et une mise à niveau directe de rerank-2.5. Ce n'est pas un modèle de chat ou de génération de texte : il existe pour prendre un ensemble de documents candidats et les réordonner par pertinence vis-à-vis d'une requête.

Le modèle fonctionne avec une entrée texte et produit une sortie de reranking. Sa longueur de contexte est de 32 000 tokens, ce qui est suffisamment grand pour accueillir une requête accompagnée d'un lot substantiel de passages candidats en un seul appel. La sortie maximale est de 28 800. Comme il s'agit d'un reranker, la forme d'une réponse est un ordre classé des documents que vous fournissez, et non de la prose libre. Aucun paramètre pris en charge n'est listé pour ce modèle, donc les appelants ne doivent pas s'attendre aux contrôles d'échantillonnage (temperature, top_p et similaires) qui s'appliquent aux modèles génératifs.

Les cas d'usage pratiques découlent directement de cette conception. Un schéma courant est un pipeline de récupération en deux étapes : une recherche vectorielle ou par mots-clés rapide renvoie un large ensemble de candidats, puis rerank-3 les réordonne afin que les résultats les plus pertinents apparaissent en tête. Cela améliore la qualité des résultats de recherche, du contexte de génération augmentée par récupération, des réponses aux questions sur une collection de documents, et des fonctionnalités de recommandation ou de mise en correspondance où le classement par pertinence compte. Comme le fournisseur décrit des gains sur les évaluations de documents longs, il convient aussi raisonnablement lorsque les passages à classer sont longs plutôt que de courts extraits.

Pour l'appeler via api14, utilisez l'id de modèle "voyageai/rerank-3" sur le point de terminaison compatible OpenAI. Comme api14 expose une API compatible OpenAI, vous pointez votre client existant vers la passerelle et passez cet id comme modèle. Étant donné que le modèle ne liste aucun paramètre pris en charge, vous devez envoyer une requête simple avec votre requête et les documents à classer, et vous fier au comportement de classement propre au modèle plutôt qu'à un réglage des paramètres de décodage.

Une limite à noter est la portée. rerank-3 ne fait que reranker du texte ; il ne génère pas de réponses ni de résumés, donc si vous avez besoin d'un modèle qui produit du texte, vous le coupleriez avec un modèle génératif. De plus, si votre pipeline n'a pas d'étape de récupération distincte et que vous avez seulement besoin d'une recherche par embeddings de premier passage, un modèle d'embedding dédié peut être le point de départ plus simple, avec rerank-3 ajouté plus tard pour affiner l'ordre.