Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
mongodb/rerank-3Usa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
VoyageAI di MongoDB: rerank-3 è un modello di reranking di VoyageAI di MongoDB. Si colloca nella categoria rerank ed è posizionato come aggiornamento drop-in di rerank-2.5, il che significa che i team che già utilizzano il modello precedente possono passare a rerank-3 senza modificare la loro integrazione. Il modello è progettato per la qualità del retrieval anziché per la generazione, quindi appartiene alla parte di una pipeline che decide come devono essere ordinati i risultati di ricerca o i passaggi candidati prima che raggiungano un utente o un modello a valle.
Il modello accetta testo come input e produce un output di reranking. Supporta una lunghezza di contesto di 32.000 token, con un output massimo di 28.800, spazio sufficiente per valutare lunghi passaggi candidati insieme a una query anziché solo brevi frammenti. Poiché la modalità di input è testo e la modalità di output è rerank, il modello non genera prosa o risposte di chat; restituisce un ordinamento dei passaggi che gli vengono forniti. Questo lo rende un componente di scoring e ordinamento anziché conversazionale.
I casi d'uso pratici derivano direttamente da questa forma. Una pipeline di retrieval può recuperare un ampio insieme di candidati con una ricerca di primo stadio veloce, quindi passare la query e quei candidati a rerank-3 per produrre un ordinamento finale migliore. Questo è utile nella ricerca su documentazione, basi di conoscenza interne, contenuti di supporto o qualsiasi corpus in cui i risultati in cima contano più del recall grezzo. Si adatta anche a configurazioni di retrieval-augmented generation, dove la qualità dei passaggi inseriti in un prompt influisce sulla risposta che segue. Il contesto lungo e la lunga tolleranza di output lo rendono adatto a collezioni che includono documenti estesi, poiché il modello può considerare una porzione maggiore di ciascun candidato quando assegna la sua posizione.
Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "mongodb/rerank-3". Poiché l'interfaccia segue il formato OpenAI, è possibile puntare un client OpenAI esistente su api14 e selezionare questo id del modello nella richiesta. Il modello non elenca parametri supportati oltre all'id del modello stesso, quindi non ci si deve aspettare di regolare impostazioni di campionamento o generazione come temperature o top_p; quelle appartengono ai modelli generativi, non a un reranker. Inviare la query e i testi candidati, e leggere l'output di reranking restituito.
Vale la pena notare che rerank-3 è un reranker, quindi non è la scelta giusta quando serve generazione di testo, chat, riassunto o embedding. Se il compito è produrre una risposta anziché ordinare candidati, un modello generativo è più adatto. Se il compito è creare le rappresentazioni vettoriali iniziali che un reranker poi riordina, un modello di embedding è il componente appropriato. Nel lavoro di reranking, rerank-3 è il successore drop-in di rerank-2.5, e il provider riporta miglioramenti rispetto a quel modello dello 0,80% di NDCG@10 in media sulle valutazioni di dominio e del 3,35% sulle valutazioni di documenti lunghi.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Questa community non ha ancora discussioni. Apri la prima su VoyageAI by MongoDB: rerank-3.