Google: Gemini Embedding 2

Google: Gemini Embedding 2 è un modello di embedding di Google, elencato su api14 con l'id modello google/gemini-embedding-2. Si colloca nella categoria embeddings ed è descritto da Google come il primo modello di embedding multimodale dell'azienda. Anziché generare risposte di chat, converte gli input in vettori che è possibile archiviare e confrontare, il che lo rende un elemento costitutivo per i sistemi di ricerca e recupero, piuttosto che un assistente con cui parlare direttamente.

Il modello accetta input di testo, immagini, file, audio e video, e la sua unica modalità di output sono gli embedding. La descrizione di Google osserva che attualmente testo e immagini sono supportati per la mappatura in uno spazio vettoriale unificato per la ricerca semantica e la generazione aumentata dal recupero (RAG). La finestra di contesto è di 8192 token, e l'output massimo è 7372. Poiché l'output è un vettore e non testo in prosa, è necessario prevedere di consumare il risultato a livello di programma, ad esempio scrivendolo in un indice vettoriale, invece di leggerlo come testo.

Queste capacità indicano un insieme di utilizzi piuttosto specifico. La ricerca semantica su una raccolta di documenti è quella più ovvia: generare una volta gli embedding del proprio corpus, generare gli embedding della query al momento della richiesta e classificare in base alla similarità vettoriale. Le pipeline RAG derivano dalla stessa idea, in cui i passaggi recuperati vengono passati a un modello di generazione separato. Il supporto per input multimodali significa che è anche possibile costruire un recupero che mescola testo e immagini in un unico spazio vettoriale, il che si adatta a cataloghi, librerie multimediali o qualsiasi raccolta in cui una query espressa a parole debba poter far emergere un'immagine pertinente. Gli input audio e video sono elencati come modalità accettate, quindi è possibile anche indicizzare tali risorse, anche se la descrizione di Google cita solo testo e immagini come attualmente mappati nello spazio unificato.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id modello google/gemini-embedding-2. Poiché l'interfaccia segue la convenzione degli embedding di OpenAI, i client e gli SDK esistenti che puntano già a un base URL compatibile con OpenAI dovrebbero funzionare con modifiche minime. Il modello non elenca parametri supportati, quindi non c'è nulla di extra da regolare nel corpo della richiesta oltre ai campi standard della chiamata di embedding, come l'id modello e l'input. Se si sta migrando una pipeline esistente, verificare di non fare affidamento su parametri opzionali che questo modello non accetta.

Una considerazione pratica è la finestra di contesto di 8192 token. Gli input più lunghi devono essere suddivisi prima dell'embedding, e la strategia di suddivisione in blocchi influenzerà la qualità del recupero, quindi è necessario pianificarlo invece di dare per scontato che interi documenti rientrino. Tenere inoltre presente che questo modello produce solo embedding. Se l'applicazione necessita di testo generato, riassunti o risposte, sarà necessario un modello di chat o di completamento separato accanto a esso, con Gemini Embedding 2 che gestisce il lato del recupero nella pipeline.