VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB : rerank-2.5 est un modèle de reranking de Voyage AI, un fournisseur dont les rerankers sont distribués sous le nom VoyageAI by MongoDB. Il appartient à la catégorie rerank, ce qui signifie que son rôle n'est pas de générer du texte mais de prendre un ensemble de documents candidats et de les réordonner par pertinence vis-à-vis d'une requête. Si votre application récupère déjà des passages, des chunks ou des résultats de recherche et que vous voulez les meilleures correspondances en tête, c'est le type de modèle vers lequel vous vous tourneriez.

Le modèle accepte du texte en entrée et produit un reranking en sortie. Il a une longueur de contexte de 32 000 tokens, qui est le budget partagé entre la requête et les documents que vous soumettez dans une seule requête, et une sortie maximale de 28 800. Comme la sortie est un classement plutôt que de la prose générée, vous ne devez pas vous attendre à ce qu'il réponde à des questions, résume du contenu ou écrive du code. Sa contribution entière est un ordre de pertinence sur les candidats que vous fournissez.

Les cas d'usage pratiques découlent directement de cela. Un pipeline de génération augmentée par récupération peut utiliser rerank-2.5 comme second étage après une recherche vectorielle ou par mots-clés rapide, en prenant les meilleurs candidats et en les réordonnant afin que les chunks les plus pertinents soient ceux transmis à un modèle de génération. Le même schéma s'applique à la recherche en entreprise, à la recherche documentaire et aux bases de connaissances de support, où le premier étage privilégie le rappel et où le reranker restaure la précision. Il est également utile pour les tâches de déduplication et de priorisation où vous avez plus de passages candidats que vous ne pouvez vous permettre d'en montrer à un utilisateur ou d'en injecter dans un prompt en aval.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle "voyageai/rerank-2.5". Comme le point de terminaison suit le schéma OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et passer cet id dans le champ model. La liste des paramètres pris en charge par le modèle est vide, il n'y a donc aucune option de réglage supplémentaire à définir au-delà de ce que la requête de rerank elle-même exige, comme la requête et les documents à scorer. Gardez les requêtes dans le contexte de 32 000 tokens, en vous rappelant que la requête et chaque document candidat comptent dans ce total.

Sur la question de savoir quand chercher ailleurs : rerank-2.5 ne traite que du texte et ne renvoie qu'un classement, donc les tâches qui nécessitent une entrée image, de l'audio ou une sortie générée sortent de son périmètre et relèvent d'un autre modèle. Si vous avez besoin d'un seul modèle pour à la fois récupérer et répondre, un modèle de génération est plus adapté, avec rerank-2.5 éventuellement placé devant lui comme étage de précision.