Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
mongodb/voyage-multimodal-3.5Usa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
VoyageAI by MongoDB: voyage-multimodal-3.5 è un modello di embedding multimodale di VoyageAI by MongoDB. Appartiene alla categoria degli embedding, quindi il suo compito è trasformare i contenuti in vettori anziché generare risposte di chat. È pensato per gli sviluppatori che necessitano di un unico modello di embedding che copra più del semplice testo.
Il modello accetta testo e immagini come input e produce embedding come output. Può vettorizzare testo, immagini e video singolarmente, e gestisce anche contenuti che interlacciano tutte e tre le modalità. La finestra di contesto è di 32.000 token, e l'output massimo è 28.800. Poiché l'output è sempre una rappresentazione vettoriale, il modello non restituisce prosa, risposte o completamenti di chat; restituisce embedding che si archiviano o si confrontano.
Queste capacità indicano alcuni utilizzi pratici. È possibile incorporare documenti di testo e immagini in un unico spazio vettoriale condiviso per la ricerca e il recupero, il che si adatta a basi di conoscenza e cataloghi che mescolano materiale scritto con risorse visive. Poiché il modello gestisce contenuti interlacciati di testo, immagini e video, si adatta anche a pagine o record in cui le modalità appaiono insieme, come elenchi di prodotti con descrizioni e foto. Gli embedding possono supportare il matching per similarità, il clustering, la deduplicazione e funzionalità di raccomandazione costruite sopra il proprio archivio vettoriale.
Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "mongodb/voyage-multimodal-3.5". Poiché l'endpoint segue il formato OpenAI, è possibile utilizzare le librerie client OpenAI esistenti e puntarle ad api14, inviando input di testo e immagini e leggendo in risposta i vettori di embedding. Il modello non elenca parametri supportati, quindi si prevede di usare i valori predefiniti per questo modello e mantenere la configurazione della richiesta minimale; consultare la documentazione dell'endpoint per la forma esatta della richiesta prima di collegarlo a una pipeline.
Tenere presente il ruolo di embedding quando si sceglie tra i modelli. Questo non genera testo né porta avanti conversazioni, quindi le attività che richiedono risposte generate o ragionamento richiedono invece un modello di chat o di completamento. È più adatto quando il requisito è rappresentare testo, immagini e contenuti misti come vettori per la ricerca e il recupero.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.embeddings.create({
"model": "mongodb/voyage-multimodal-3.5",
"input": [
"The quick brown fox",
"Lorem ipsum"
]
});
console.log(result.data.map((d) => d.embedding.length));
Questa community non ha ancora discussioni. Apri la prima su VoyageAI by MongoDB: voyage-multimodal-3.5.