Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large è un modello di embedding di Intfloat, elencato su api14 nella categoria embeddings. Prende testo come input e restituisce embedding come output, quindi non è un modello di chat o di generazione di testo. Il suo scopo è trasformare il linguaggio in vettori che puoi archiviare, confrontare e cercare. Il provider lo descrive come in grado di codificare frasi, paragrafi e documenti in più di 90 lingue in uno spazio vettoriale denso a 1024 dimensioni, con embedding semantici ottimizzati per il retrieval multilingue e la similarità cross-lingua.

La finestra di contesto è di 512 token e l'output massimo è 460. Poiché l'input è testo e l'output è un vettore anziché parole generate, non c'è alcun comportamento di campionamento da regolare: il modello non accetta parametri supportati, quindi le richieste contengono il tuo input e nient'altro in fatto di impostazioni di generazione. Il limite di 512 token significa che ogni chiamata dovrebbe essere circoscritta a una frase, a un paragrafo breve o a un blocco di dimensioni simili, anziché a un documento lungo passato nella sua interezza.

Gli usi pratici derivano da questa forma. Il retrieval multilingue è quello principale: indicizza documenti in una o più lingue e cercali con query in un'altra. La similarità cross-lingua ti consente di confrontare o raggruppare testo scritto in lingue diverse nello stesso spazio vettoriale. Lavori correlati includono la ricerca semantica su un corpus a lingue miste, la deduplicazione di passaggi quasi identici, l'instradamento o la classificazione in base a quanto un testo è vicino a esempi di riferimento, e la costruzione di livelli di retrieval che alimentano un modello di generazione separato.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "intfloat/multilingual-e5-large". Poiché l'endpoint segue la forma degli embedding OpenAI, le librerie client esistenti e il codice che punta già a un base URL compatibile con OpenAI dovrebbero funzionare cambiando solo l'id del modello. Invia il tuo testo come input e leggi il vettore dalla risposta. Non sono supportati parametri di richiesta aggiuntivi, quindi mantieni la richiesta minimale e lascia che il modello restituisca l'embedding.

Il contesto di 512 token è il vincolo principale da considerare. I documenti lunghi devono essere suddivisi in blocchi prima dell'embedding, e qualsiasi pipeline che presupponga una finestra più ampia, o che si aspetti testo generato in risposta, avrà bisogno di un modello diverso. Se il tuo compito è la generazione, il riassunto o la conversazione anziché la rappresentazione, un modello instruct o chat su api14 è la scelta migliore; questo modello serve a trasformare il testo in vettori.