NVIDIA: Llama Nemotron Embed VL 1B V2 (free)

Llama Nemotron Embed VL 1B V2 est un modèle d'embedding de NVIDIA, distribué sur api14 sous l'identifiant de modèle nvidia/llama-nemotron-embed-vl-1b-v2:free. Il appartient à la catégorie embeddings, et son objectif déclaré est la recherche multimodale pour la réponse aux questions. C'est un modèle de classe 1B, ce qui le place parmi les options les plus petites de la famille Nemotron, et il est proposé ici dans une variante gratuite.

Le modèle accepte du texte et des images en entrée et produit des embeddings en sortie. Il peut encoder des documents sous trois formes : image seule, texte seul, ou image et texte ensemble. Cette flexibilité est au cœur de sa conception, car les systèmes de recherche doivent souvent faire correspondre une question textuelle à l'image d'une page, à une capture d'écran, à un diagramme ou à un passage de prose. La fenêtre de contexte est de 131072 tokens, et la sortie maximale est de 117964, de sorte que de longs documents peuvent être encodés sans être découpés en de nombreux fragments.

Les usages pratiques découlent de la recherche multimodale. Une équipe qui construit un système de réponse aux questions sur des documents numérisés, des PDF, des images de produits ou des bases de connaissances multimédia peut encoder chaque élément une fois, puis lancer une recherche de similarité à partir d'une requête textuelle. Comme l'image et le texte peuvent être encodés conjointement, le même index peut servir des requêtes portant sur un graphique et des requêtes portant sur le paragraphe adjacent, ce qui évite de maintenir des pipelines séparés pour le contenu visuel et le contenu textuel. Il convient également à la déduplication, au clustering et à la recommandation sur des collections qui mélangent captures d'écran et contenus rédigés.

Pour l'appeler via api14, utilisez le point de terminaison embeddings compatible OpenAI avec l'identifiant de modèle nvidia/llama-nemotron-embed-vl-1b-v2:free. Le modèle ne liste aucun paramètre pris en charge, donc les requêtes doivent s'appuyer sur les champs standard exigés par le point de terminaison plutôt que sur des contrôles d'échantillonnage tels que temperature ou top_p, qui ne s'appliquent pas aux modèles d'embedding. Envoyez votre entrée dans la forme habituelle d'une requête embeddings et récupérez le vecteur dans la réponse.

Un point à prendre en compte est qu'il s'agit d'un modèle d'embedding, et non d'un modèle de conversation ou de génération, donc il ne répondra pas aux questions et n'écrira pas de texte. Si votre tâche est la génération, le raisonnement ou la conversation, un autre modèle est le bon choix. Il vaut également la peine de vérifier que votre pile de recherche peut stocker et comparer les dimensions vectorielles renvoyées par le modèle, et que vos entrées tiennent dans le contexte de 131072 tokens.