VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite est un modèle d'embedding de Voyage AI, l'entreprise derrière la famille de modèles de retrieval Voyage, désormais intégrée à MongoDB. Il appartient à la catégorie des embeddings plutôt qu'à celle du chat, ce qui signifie qu'il ne génère pas de texte. Il transforme plutôt le texte en vecteurs que vous stockez et comparez. Il est positionné comme un modèle léger et polyvalent, conçu pour une faible latence et un coût réduit plutôt que pour une précision maximale sur les problèmes de retrieval les plus difficiles.

Le modèle accepte du texte en entrée et renvoie des embeddings en sortie. Sa longueur de contexte est de 32 000 tokens, et la sortie maximale est de 28 800, de sorte que de longs documents peuvent être transformés en embeddings sans être découpés en de nombreux petits fragments. Voyage AI l'a entraîné avec l'apprentissage Matryoshka et un entraînement tenant compte de la quantification, ce qui permet à un seul modèle de produire des embeddings en 2048, 1024, 512 et 256 dimensions. Vous choisissez la dimension adaptée à votre budget de stockage et de latence, et les vecteurs plus courts restent utilisables au lieu de s'effondrer.

Ces propriétés indiquent un ensemble d'usages assez spécifique. La recherche sémantique sur une collection de documents, où vous transformez les fragments en embeddings une fois et les interrogez avec une question transformée en embedding, est le cas central. Les mêmes vecteurs prennent en charge la génération augmentée par retrieval, la déduplication et la détection de quasi-doublons, le clustering et le regroupement par thème, ainsi que la classification ou le routage lorsque vous comparez une entrée à des exemples étiquetés. Comme le modèle gère 32 000 tokens de contexte, vous pouvez transformer directement en embeddings des pages entières ou de longs passages, ce qui convient à la recherche de code, au tri des tickets de support et aux bases de connaissances internes. Les options de dimension inférieure importent lorsque vous stockez des millions de vecteurs et souhaitez garder l'index compact.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "voyageai/voyage-4-lite". Comme le point de terminaison suit la forme des embeddings OpenAI, les clients et bibliothèques existants fonctionnent en changeant uniquement l'URL de base et l'identifiant de modèle. Le modèle n'expose aucun paramètre pris en charge supplémentaire, donc les requêtes reposent sur les champs standard acceptés par le point de terminaison des embeddings, tels que le texte d'entrée et l'identifiant de modèle. Il n'y a ni échantillonnage, ni température, ni configuration d'outils à définir, car rien de tout cela ne s'applique à un modèle d'embedding.

Si votre tâche est la génération de texte, le résumé ou le raisonnement, ce n'est pas le bon modèle et un modèle de chat conviendra mieux. voyage-4-lite est également décrit comme léger et polyvalent, donc si vous avez besoin de la meilleure qualité de retrieval sur des corpus spécialisés ou très techniques, un modèle d'embedding Voyage plus grand est le choix le plus probable.