Usamos cookies. Las cookies y el almacenamiento del navegador mantienen tu sesión iniciada y recuerdan tus preferencias. Con tu permiso, también medimos cómo se usa el sitio. Puedes en cualquier momento. Consulta nuestra política de cookies.
mongodb/rerank-3-liteSe ejecuta con tu saldo a los precios indicados arriba. Las cuentas nuevas empiezan con uso gratuito.
Configuración
VoyageAI by MongoDB: rerank-3-lite es un modelo de reranking de VoyageAI by MongoDB. Pertenece a la categoría rerank, y su función es tomar un conjunto de documentos candidatos y reordenarlos por relevancia respecto a una consulta, en lugar de generar texto nuevo. Está posicionado como una actualización directa de rerank-2.5-lite, lo que significa que los equipos que ya usan ese modelo pueden pasar a este sin cambiar la forma en que lo integran.
El modelo acepta texto como entrada y produce un reranking como salida. Tiene una longitud de contexto de 32.000 tokens y una salida máxima de 28.800. Como su propósito es puntuar y ordenar en lugar de generar, lo útil que devuelve es un orden de relevancia sobre los pasajes que proporciones, y está construido para equilibrar la latencia con la calidad. En evaluaciones de dominio mejora a rerank-2.5-lite en un 0,94% de NDCG@10 en promedio, con una mejora adicional del 1,86%. Esa ganancia medida lo convierte en un reemplazo de bajo riesgo donde el modelo lite anterior ya está en producción.
Los casos de uso prácticos se derivan directamente de esas capacidades. Encaja en pipelines de generación aumentada por recuperación, donde un recuperador de primera etapa devuelve un conjunto amplio de candidatos y el reranker los acota y ordena antes de que lleguen a un modelo de lenguaje. Es adecuado para búsqueda y búsqueda en sitios, donde el orden de los resultados importa más que la coincidencia bruta. También encaja en respuesta a preguntas sobre colecciones de documentos, bases de conocimiento internas y contenido de soporte, y en cualquier flujo de trabajo que necesite pasajes ordenados según qué tan bien responden a una consulta específica. El amplio presupuesto de contexto significa que se pueden incluir pasajes candidatos largos sin truncamiento agresivo, y el énfasis en la latencia lo hace razonable para aplicaciones interactivas y no solo para trabajos por lotes sin conexión.
Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "mongodb/rerank-3-lite". La lista de parámetros admitidos está vacía, así que pasa el id de modelo con tu entrada y confía en los valores predeterminados en lugar de esperar opciones de ajuste en la solicitud. Como el endpoint sigue la forma compatible con OpenAI, las bibliotecas de cliente y las rutas de código existentes se pueden apuntar a api14 y a este id de modelo con un cambio mínimo.
Vale la pena señalar que este es un reranker, no un generador. Si tu tarea es escribir respuestas, resumir o mantener una conversación, un modelo de generación de texto es la elección correcta, y este modelo funciona mejor como una etapa delante de uno. Si necesitas puntuar u ordenar texto respecto a una consulta, es la opción adecuada.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3-lite",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Esta comunidad aún no tiene temas. Abre el primero sobre VoyageAI by MongoDB: rerank-3-lite.