VoyageAI by MongoDB: voyage-4

voyage-4 est un modèle d'embedding polyvalent de Voyage AI, l'entreprise à l'origine de la famille d'embeddings Voyage qui fait désormais partie de MongoDB. Il est référencé sur api14 sous l'identifiant de modèle voyageai/voyage-4 et appartient à la catégorie des embeddings, il est donc conçu pour transformer du texte en vecteurs plutôt que pour générer des réponses de chat. Si vous choisissez un modèle d'embedding pour un système de retrieval ou de recherche, c'est le type de modèle que vous évalueriez aux côtés d'autres options d'embedding polyvalentes.

Le modèle accepte du texte en entrée et renvoie des embeddings en sortie. Il est décrit comme polyvalent et multilingue, et il est optimisé pour le retrieval et la recherche ainsi que pour d'autres applications d'IA. Il prend en charge des embeddings à 2048, 1024, 512 et 256 dimensions, ainsi que plusieurs options de quantification, ce qui vous permet d'arbitrer entre la taille des vecteurs et les caractéristiques de stockage et de recherche selon votre index. La longueur de contexte est de 32000 tokens, et la sortie maximale est de 28800, de sorte que de longs documents peuvent être transformés en embeddings sans être découpés en de nombreux petits fragments.

Ces capacités renvoient à un ensemble d'usages assez spécifique. Le retrieval et la recherche sont les principaux : indexer une collection de documents, transformer les requêtes en embeddings, et les comparer par similarité vectorielle. Parce que le modèle est multilingue, il convient aussi aux collections et aux requêtes qui mélangent les langues, et parce qu'il prend en charge plusieurs dimensions de sortie et options de quantification, il peut servir à la fois un index de haute fidélité et un index plus petit et plus compact. Les applications courantes incluent les pipelines de génération augmentée par retrieval, la recherche sémantique sur de la documentation interne, la déduplication ou le clustering de texte, et les systèmes de recommandation ou de classification qui opèrent sur des embeddings plutôt que sur du texte généré.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle voyageai/voyage-4, en envoyant du texte et en recevant des embeddings dans la réponse. La liste des paramètres pris en charge par le modèle est vide, vous ne devez donc pas vous attendre à passer des contrôles d'échantillonnage tels que temperature ou top_p ; la requête se résume essentiellement au texte d'entrée plus l'identifiant de modèle. Les choix de dimension et de quantification relèvent du comportement d'embedding du modèle plutôt que de paramètres de requête exposés ici, consultez donc la référence actuelle de l'API pour savoir comment ils sont sélectionnés avant de construire autour d'une taille de vecteur spécifique.

Une chose à garder à l'esprit est qu'il s'agit d'un modèle d'embedding, pas d'un modèle de chat ou de complétion. Si votre tâche consiste à générer du texte, à résumer ou à tenir une conversation, un modèle de génération de texte est le bon choix, et voyage-4 ne serait utile que comme composant de support dans un pipeline de retrieval. Il ne prend également que du texte, donc les entrées d'autres modalités sont hors de portée. Dans ces limites, c'est un candidat raisonnable pour le travail de recherche et de retrieval lorsque vous voulez contrôler les dimensions d'embedding.