VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite è un modello di embedding di Voyage AI, l'azienda dietro la famiglia di modelli di retrieval Voyage, ora parte di MongoDB. Si colloca nella categoria degli embedding e non in quella delle chat, il che significa che non genera testo. Trasforma invece il testo in vettori che si memorizzano e si confrontano. È posizionato come un modello leggero e general-purpose, progettato per bassa latenza e costi contenuti piuttosto che per la massima accuratezza sui problemi di retrieval più difficili.

Il modello accetta testo come input e restituisce embedding come output. La sua lunghezza di contesto è di 32.000 token, e l'output massimo è di 28.800, quindi documenti lunghi possono essere trasformati in embedding senza suddividerli in molti piccoli chunk. Voyage AI lo ha addestrato con Matryoshka learning e quantization-aware training, ed è questo che consente a un singolo modello di produrre embedding a 2048, 1024, 512 e 256 dimensioni. Si sceglie la dimensione che si adatta al proprio budget di archiviazione e latenza, e i vettori più corti restano utilizzabili invece di collassare.

Queste proprietà indicano un insieme di utilizzi piuttosto specifico. La ricerca semantica su una raccolta di documenti, in cui si trasformano i chunk in embedding una volta sola e si interrogano con una domanda trasformata in embedding, è il caso principale. Gli stessi vettori supportano la retrieval augmented generation, la deduplicazione e il rilevamento di quasi-duplicati, il clustering e il raggruppamento per argomento, e la classificazione o il routing quando si confronta un input con esempi etichettati. Poiché il modello gestisce 32.000 token di contesto, è possibile trasformare direttamente intere pagine o passaggi lunghi in embedding, il che si adatta alla ricerca nel codice, al triage dei ticket di supporto e alle basi di conoscenza interne. Le opzioni a dimensioni inferiori contano quando si memorizzano milioni di vettori e si vuole mantenere l'indice piccolo.

Si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "voyageai/voyage-4-lite". Poiché l'endpoint segue la forma degli embedding di OpenAI, i client e le librerie esistenti funzionano cambiando solo la base URL e il model id. Il modello non espone parametri supportati aggiuntivi, quindi le richieste si basano sui campi standard accettati dall'endpoint degli embedding, come il testo di input e il model id. Non c'è sampling, temperature o configurazione di tool da impostare, poiché nulla di tutto ciò si applica a un modello di embedding.

Se il proprio compito è la generazione di testo, il riassunto o il ragionamento, questo è il modello sbagliato e un modello di chat sarà più adatto. voyage-4-lite è inoltre descritto come leggero e general purpose, quindi se serve la massima qualità di retrieval su corpora specializzati o altamente tecnici, un modello di embedding Voyage più grande è la scelta più probabile.