VoyageAI by MongoDB: voyage-4

voyage-4 è un modello di embedding generico di Voyage AI, l'azienda dietro la famiglia di embedding Voyage che ora fa parte di MongoDB. È elencato su api14 con l'id del modello voyageai/voyage-4 e si colloca nella categoria embeddings, quindi è progettato per trasformare il testo in vettori anziché per generare risposte di chat. Se stai scegliendo un modello di embedding per un sistema di retrieval o di ricerca, questo è il tipo di modello che valuteresti insieme ad altre opzioni di embedding generiche.

Il modello accetta testo come input e restituisce embedding come output. È descritto come generico e multilingue, ed è ottimizzato per il retrieval e la ricerca oltre che per altre applicazioni di IA. Supporta embedding a 2048, 1024, 512 e 256 dimensioni, insieme a molteplici opzioni di quantizzazione, il che ti consente di bilanciare la dimensione dei vettori rispetto alle caratteristiche di archiviazione e ricerca a seconda del tuo indice. La lunghezza del contesto è di 32000 token, e l'output massimo è 28800, quindi documenti lunghi possono essere trasformati in embedding senza suddividerli in molti piccoli pezzi.

Queste capacità indicano un insieme di utilizzi piuttosto specifico. Il retrieval e la ricerca sono quelli principali: indicizzare una collezione di documenti, trasformare in embedding le query e confrontarle per similarità vettoriale. Poiché il modello è multilingue, si adatta anche a collezioni e query che mescolano lingue diverse, e poiché supporta diverse dimensioni di output e opzioni di quantizzazione, può servire sia un indice ad alta fedeltà sia uno più piccolo e compatto. Le applicazioni comuni includono pipeline di generazione aumentata dal retrieval, ricerca semantica su documentazione interna, deduplicazione o clustering di testo, e sistemi di raccomandazione o classificazione che operano su embedding anziché su testo generato.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello voyageai/voyage-4, inviando testo e ricevendo embedding nella risposta. L'elenco dei parametri supportati dal modello è vuoto, quindi non dovresti aspettarti di poter passare controlli di campionamento come temperature o top_p; la richiesta è essenzialmente il testo di input più l'id del modello. Le scelte di dimensione e quantizzazione fanno parte del comportamento di embedding del modello anziché essere parametri di richiesta esposti qui, quindi controlla il riferimento API attuale per capire come vengono selezionate prima di costruire qualcosa attorno a una dimensione vettoriale specifica.

Una cosa da tenere a mente è che questo è un modello di embedding, non un modello di chat o di completamento. Se il tuo compito è generare testo, riassumere o sostenere una conversazione, un modello di generazione di testo è la scelta giusta, e voyage-4 sarebbe utile solo come componente di supporto in una pipeline di retrieval. Inoltre accetta solo testo, quindi input in altre modalità sono fuori ambito. Entro questi limiti, è un candidato ragionevole per attività di ricerca e retrieval in cui desideri avere il controllo sulle dimensioni degli embedding.