Nous utilisons des cookies. Les cookies et le stockage du navigateur vous gardent connecté et mémorisent vos préférences. Avec votre accord, nous mesurons aussi l’utilisation du site. Vous pouvez à tout moment. Consultez notre politique relative aux cookies.
mongodb/rerank-3-liteUtilise votre solde aux prix indiqués ci-dessus. Les nouveaux comptes démarrent avec une consommation gratuite.
Paramètres
VoyageAI by MongoDB : rerank-3-lite est un modèle de reranking de VoyageAI by MongoDB. Il appartient à la catégorie rerank, et son rôle est de prendre un ensemble de documents candidats et de les réordonner par pertinence vis-à-vis d'une requête, plutôt que de générer du nouveau texte. Il est positionné comme une mise à niveau directe de rerank-2.5-lite, ce qui signifie que les équipes utilisant déjà ce modèle peuvent passer à celui-ci sans modifier leur mode d'intégration.
Le modèle accepte du texte en entrée et produit un reranking en sortie. Il a une longueur de contexte de 32 000 tokens et une sortie maximale de 28 800. Comme son objectif est la notation et l'ordonnancement plutôt que la génération, ce qu'il renvoie d'utile est un ordre de pertinence sur les passages que vous fournissez, et il est conçu pour équilibrer la latence et la qualité. Sur les évaluations de domaine, il améliore rerank-2.5-lite de 0,94 % NDCG@10 en moyenne, avec une amélioration supplémentaire de 1,86 %. Ce gain mesuré en fait un remplacement à faible risque là où le modèle lite précédent est déjà en production.
Les cas d'usage pratiques découlent directement de ces capacités. Il convient aux pipelines de génération augmentée par récupération, où un récupérateur de premier étage renvoie un large ensemble de candidats et le reranker les réduit et les ordonne avant qu'ils n'atteignent un modèle de langage. Il convient à la recherche et à la recherche sur site, où l'ordre des résultats importe plus que la correspondance brute. Il convient également à la réponse aux questions sur des collections de documents, des bases de connaissances internes et du contenu de support, et à tout flux de travail qui nécessite que des passages soient triés selon leur capacité à répondre à une requête spécifique. Le large budget de contexte signifie que de longs passages candidats peuvent être inclus sans troncature agressive, et l'accent mis sur la latence le rend raisonnable pour des applications interactives plutôt que seulement pour des tâches par lots hors ligne.
Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "mongodb/rerank-3-lite". La liste des paramètres pris en charge est vide, donc passez l'identifiant de modèle avec votre entrée et fiez-vous aux valeurs par défaut plutôt que d'attendre des options de réglage dans la requête. Comme le point de terminaison suit la forme compatible OpenAI, les bibliothèques clientes et les chemins de code existants peuvent être pointés vers api14 et cet identifiant de modèle avec un minimum de changements.
Il convient de noter qu'il s'agit d'un reranker, pas d'un générateur. Si votre tâche consiste à rédiger des réponses, à résumer ou à tenir une conversation, un modèle de génération de texte est le bon choix, et ce modèle fonctionne mieux comme une étape devant celui-ci. Si vous devez noter ou ordonner du texte par rapport à une requête, c'est l'outil approprié.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3-lite",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Cette communauté n’a encore aucun sujet. Ouvrez le premier sur VoyageAI by MongoDB: rerank-3-lite.