BAAI: bge-m3

BAAI: bge-m3 è un modello di embedding di BAAI, la Beijing Academy of Artificial Intelligence. Appartiene alla categoria degli embeddings, il che significa che è costruito per trasformare il testo in vettori anziché per generare risposte in chat. Se la tua applicazione necessita di un modello che risponda a domande o scriva testo, questo non è quel tipo di modello; esiste per rappresentare il testo numericamente in modo che altri sistemi possano confrontarlo, cercarlo e recuperarlo.

Il modello accetta testo come unico input e produce embeddings come unico output. Secondo il provider, codifica frasi, paragrafi e documenti lunghi in uno spazio vettoriale denso a 1024 dimensioni, con l'obiettivo di fornire embeddings semantici di alta qualità. È ottimizzato per il recupero multilingue, la ricerca semantica e applicazioni con contesto ampio. La finestra di contesto è di 8194 token e l'output massimo è 7374, quindi passaggi di testo piuttosto lunghi possono essere codificati in una singola richiesta invece di essere suddivisi in molti piccoli frammenti.

Queste capacità indicano un insieme chiaro di usi pratici. La ricerca semantica è il più diretto: codifica i tuoi documenti una volta, codifica la query dell'utente al momento della richiesta e classifica i documenti per similarità vettoriale invece che per sovrapposizione di parole chiave. La generazione aumentata dal recupero è un'altra, dove bge-m3 fornisce la metà del recupero trovando passaggi semanticamente vicini a una domanda, che vengono poi passati a un modello generativo separato. Poiché il modello è multilingue, lo stesso indice può servire query e documenti in lingue diverse, il che si adatta alla ricerca cross-linguale, alla deduplicazione e al clustering di collezioni di testo. La lunga finestra di contesto aiuta anche quando un singolo chunk di documento è grande, poiché meno chunk significano meno frammentazione del significato tra i vettori.

Chiami il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "baai/bge-m3". Poiché l'interfaccia segue il formato OpenAI, puoi puntare un client OpenAI esistente all'URL di base di api14 e inviare il tuo testo all'endpoint degli embeddings con quell'id, senza riscrivere la tua integrazione. Il modello non elenca parametri supportati oltre a quelli richiesti dall'endpoint, quindi mantieni le richieste semplici: fornisci il testo di input e l'id del modello, e leggi i vettori restituiti. Non ci sono controlli di campionamento come la temperature da regolare qui, poiché l'output sono dati di embedding deterministici anziché token generati.

Una cosa da tenere a mente è l'ambito. bge-m3 accetta solo testo e restituisce solo embeddings, quindi attività come la summarization, la classificazione tramite generazione o le risposte conversazionali necessitano di un modello diverso accanto ad esso. Il contesto di 8194 token è generoso per il lavoro di recupero ma comunque finito, quindi documenti molto grandi dovrebbero essere suddivisi in chunk prima della codifica. Entro questi limiti, è una scelta ragionevole quando il tuo problema riguarda fondamentalmente la rappresentazione e il confronto del testo.