Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 è un modello di embeddings di Intfloat. Appartiene alla categoria degli embeddings, il che significa che il suo compito è trasformare il testo in vettori anziché generare risposte in chat. Il provider lo descrive come capace di mappare frasi, paragrafi e documenti in inglese in uno spazio vettoriale denso a 1024 dimensioni, con l'obiettivo di ottenere embeddings semantici ad alta precisione. Se la tua applicazione necessita di una rappresentazione del testo che catturi il significato anziché una risposta scritta, questo è il tipo di modello a cui rivolgersi.

Il modello accetta testo come unica modalità di input e produce embeddings come unica modalità di output. La sua lunghezza di contesto è di 512 token, quindi ogni richiesta è limitata a una porzione di testo piuttosto breve, e l'output massimo è 460. Non ci sono input di immagini, audio o altri input non testuali, e non c'è testo generato sul lato output. Tutto ciò che il modello restituisce è un vettore, che poi memorizzi, confronti o inserisci in un'altra fase della tua pipeline.

Queste caratteristiche indicano un insieme specifico di utilizzi. Il retrieval è il più chiaro: esegui l'embedding dei tuoi documenti una volta, esegui l'embedding della query al momento della richiesta e confronta i vettori per trovare i passaggi più vicini. La ricerca semantica funziona allo stesso modo, basandosi sul significato anziché su parole chiave esatte. Il provider elenca anche il reranking e il punteggio di similarità, quindi puoi usare i vettori per riordinare i risultati candidati o per misurare quanto sono vicini due frammenti di testo. Poiché i vettori sono densi e a 1024 dimensioni, sono adatti alla memorizzazione in un indice vettoriale e al confronto tramite similarità del coseno o prodotto scalare.

Chiami il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "intfloat/e5-large-v2". Poiché l'endpoint segue il formato OpenAI, puoi indirizzare un client OpenAI esistente verso api14 e inviare il testo nel modo consueto, quindi leggere l'embedding dalla risposta. Il modello non supporta parametri di richiesta aggiuntivi, quindi non c'è nulla da configurare oltre ai campi standard della richiesta. Mantieni ogni input entro la lunghezza di contesto di 512 token e aspettati che l'output sia l'embedding stesso.

Il vincolo principale da considerare è la finestra di 512 token. I documenti lunghi dovranno essere suddivisi in chunk prima dell'embedding, e dovrai decidere come combinare o memorizzare i vettori di tali chunk. Il modello è inoltre focalizzato sull'inglese secondo la descrizione del provider, quindi il testo in altre lingue potrebbe non ottenere embeddings altrettanto affidabili. Se il tuo compito è la generazione di testo, la conversazione o qualsiasi cosa che richieda una risposta scritta, un modello di embeddings è lo strumento sbagliato e un modello generativo sarebbe più adatto.