Nous utilisons des cookies. Les cookies et le stockage du navigateur vous gardent connecté et mémorisent vos préférences. Avec votre accord, nous mesurons aussi l’utilisation du site. Vous pouvez à tout moment. Consultez notre politique relative aux cookies.
mongodb/voyage-multimodal-3.5Utilise votre solde aux prix indiqués ci-dessus. Les nouveaux comptes démarrent avec une consommation gratuite.
Paramètres
VoyageAI by MongoDB : voyage-multimodal-3.5 est un modèle d'embedding multimodal de VoyageAI by MongoDB. Il appartient à la catégorie des embeddings, donc son rôle est de transformer le contenu en vecteurs plutôt que de générer des réponses de chat. Il s'adresse aux développeurs qui ont besoin d'un modèle d'embedding unique couvrant plus que du texte brut.
Le modèle accepte du texte et des images en entrée et produit des embeddings en sortie. Il peut vectoriser le texte, les images et la vidéo individuellement, et il gère aussi du contenu qui entrelace les trois modalités. La fenêtre de contexte est de 32 000 tokens, et la sortie maximale est de 28 800. Comme la sortie est toujours une représentation vectorielle, le modèle ne renvoie pas de prose, de réponses ou de complétions de chat ; il renvoie des embeddings que vous stockez ou comparez.
Ces capacités indiquent quelques usages pratiques. Vous pouvez intégrer des documents texte et des images dans un espace vectoriel partagé pour la recherche et la récupération, ce qui convient aux bases de connaissances et aux catalogues qui mélangent du contenu écrit et des ressources visuelles. Comme le modèle gère du contenu entrelacé de texte, d'images et de vidéo, il convient aussi aux pages ou aux enregistrements où les modalités apparaissent ensemble, comme des fiches produit avec descriptions et photos. Les embeddings peuvent prendre en charge la correspondance par similarité, le clustering, la déduplication et des fonctionnalités de recommandation construites au-dessus de votre propre magasin vectoriel.
Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'id de modèle "mongodb/voyage-multimodal-3.5". Comme le point de terminaison suit le format OpenAI, vous pouvez utiliser les bibliothèques clientes OpenAI existantes et les pointer vers api14, en envoyant des entrées texte et image et en récupérant les vecteurs d'embedding. Le modèle ne liste aucun paramètre pris en charge, donc prévoyez les valeurs par défaut pour ce modèle et gardez une configuration de requête minimale ; consultez la documentation du point de terminaison pour la forme exacte de la requête avant de l'intégrer dans un pipeline.
Gardez le rôle d'embedding à l'esprit lorsque vous choisissez entre des modèles. Celui-ci ne génère pas de texte et ne mène pas de conversations, donc les tâches qui nécessitent des réponses générées ou du raisonnement appellent plutôt un modèle de chat ou de complétion. Il est plus adapté lorsque l'exigence est de représenter du texte, des images et du contenu mixte sous forme de vecteurs pour la recherche et la récupération.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.embeddings.create({
"model": "mongodb/voyage-multimodal-3.5",
"input": [
"The quick brown fox",
"Lorem ipsum"
]
});
console.log(result.data.map((d) => d.embedding.length));
Cette communauté n’a encore aucun sujet. Ouvrez le premier sur VoyageAI by MongoDB: voyage-multimodal-3.5.