Google: Gemini Embedding 2

Google : Gemini Embedding 2 est un modèle d'embedding de Google, listé sur api14 sous l'identifiant de modèle google/gemini-embedding-2. Il appartient à la catégorie des embeddings et est décrit par Google comme le premier modèle d'embedding multimodal de l'entreprise. Plutôt que de générer des réponses de chat, il convertit les entrées en vecteurs que vous pouvez stocker et comparer, ce qui en fait une brique de base pour les systèmes de recherche et de récupération plutôt qu'un assistant avec lequel vous dialoguez directement.

Le modèle accepte des entrées de type texte, image, fichier, audio et vidéo, et sa seule modalité de sortie est les embeddings. La description de Google indique que le texte et les images sont actuellement pris en charge pour être projetés dans un espace vectoriel unifié destiné à la recherche sémantique et à la génération augmentée par récupération (RAG). La fenêtre de contexte est de 8192 tokens, et la sortie maximale est de 7372. Comme la sortie est un vecteur et non de la prose, vous devez vous attendre à consommer le résultat par programmation, par exemple en l'écrivant dans un index vectoriel, plutôt qu'à le lire comme du texte.

Ces capacités renvoient à un ensemble d'usages assez spécifique. La recherche sémantique sur une collection de documents est l'évidence : vectorisez votre corpus une fois, vectorisez la requête au moment de la demande, puis classez par similarité vectorielle. Les pipelines RAG découlent de la même idée, où les passages récupérés sont transmis à un modèle de génération distinct. La prise en charge des entrées multimodales signifie que vous pouvez aussi construire une récupération qui mélange texte et images dans un même espace vectoriel, ce qui convient aux catalogues, aux médiathèques ou à toute collection où une requête en mots doit pouvoir faire remonter une image pertinente. Les entrées audio et vidéo sont listées comme modalités acceptées, donc l'indexation de ces ressources est également possible, bien que la description de Google ne mentionne que le texte et les images comme actuellement projetés dans l'espace unifié.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle google/gemini-embedding-2. Comme l'interface suit la convention des embeddings OpenAI, les clients et SDK existants qui pointent déjà vers une URL de base compatible OpenAI devraient fonctionner avec un minimum de modifications. Le modèle ne liste aucun paramètre pris en charge, il n'y a donc rien de plus à ajuster dans le corps de la requête au-delà des champs standard d'un appel d'embedding, comme l'identifiant de modèle et l'entrée. Si vous portez un pipeline existant, vérifiez que vous ne dépendez pas de paramètres optionnels que ce modèle n'accepte pas.

Une considération pratique est la fenêtre de contexte de 8192 tokens. Les entrées plus longues doivent être découpées avant la vectorisation, et la stratégie de découpage affectera la qualité de la récupération, donc prévoyez-le plutôt que de supposer que des documents entiers tiennent. Gardez aussi à l'esprit que ce modèle ne produit que des embeddings. Si votre application a besoin de texte généré, de résumés ou de réponses, vous aurez besoin d'un modèle de chat ou de complétion distinct à côté, Gemini Embedding 2 prenant en charge le côté récupération du pipeline.