Usamos cookies. Las cookies y el almacenamiento del navegador mantienen tu sesión iniciada y recuerdan tus preferencias. Con tu permiso, también medimos cómo se usa el sitio. Puedes en cualquier momento. Consulta nuestra política de cookies.
mongodb/voyage-multimodal-3.5Se ejecuta con tu saldo a los precios indicados arriba. Las cuentas nuevas empiezan con uso gratuito.
Configuración
VoyageAI by MongoDB: voyage-multimodal-3.5 es un modelo de embeddings multimodal de VoyageAI by MongoDB. Pertenece a la categoría de embeddings, por lo que su función es convertir contenido en vectores en lugar de generar respuestas de chat. Está dirigido a desarrolladores que necesitan un único modelo de embeddings que cubra más que texto plano.
El modelo acepta texto e imágenes como entrada y produce embeddings como salida. Puede vectorizar texto, imágenes y vídeo individualmente, y también maneja contenido que intercala las tres modalidades. La ventana de contexto es de 32.000 tokens, y la salida máxima es de 28.800. Como la salida es siempre una representación vectorial, el modelo no devuelve prosa, respuestas ni completaciones de chat; devuelve embeddings que almacenas o comparas.
Esas capacidades apuntan a algunos usos prácticos. Puedes incrustar documentos de texto e imágenes en un único espacio vectorial compartido para búsqueda y recuperación, lo que encaja con bases de conocimiento y catálogos que mezclan material escrito con recursos visuales. Como el modelo maneja contenido intercalado de texto, imagen y vídeo, también encaja con páginas o registros donde las modalidades aparecen juntas, como listados de productos con descripciones y fotos. Los embeddings pueden soportar coincidencia por similitud, agrupamiento, deduplicación y funciones de recomendación construidas sobre tu propio almacén de vectores.
Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "mongodb/voyage-multimodal-3.5". Como el endpoint sigue el formato de OpenAI, puedes usar las bibliotecas cliente de OpenAI existentes y apuntarlas a api14, enviando entradas de texto e imagen y leyendo de vuelta los vectores de embedding. El modelo no lista parámetros soportados, así que cuenta con los valores predeterminados para este modelo y mantén la configuración de la solicitud al mínimo; consulta la documentación del endpoint para conocer la forma exacta de la solicitud antes de integrarlo en un pipeline.
Ten en cuenta el rol de embedding al elegir entre modelos. Este no genera texto ni mantiene conversaciones, así que las tareas que necesitan respuestas generadas o razonamiento requieren un modelo de chat o de completación en su lugar. Es la opción más adecuada cuando el requisito es representar texto, imágenes y contenido mixto como vectores para búsqueda y recuperación.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.embeddings.create({
"model": "mongodb/voyage-multimodal-3.5",
"input": [
"The quick brown fox",
"Lorem ipsum"
]
});
console.log(result.data.map((d) => d.embedding.length));
Esta comunidad aún no tiene temas. Abre el primero sobre VoyageAI by MongoDB: voyage-multimodal-3.5.