Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
mongodb/rerank-3-liteUsa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
VoyageAI di MongoDB: rerank-3-lite è un modello di reranking di VoyageAI di MongoDB. Appartiene alla categoria rerank e il suo compito è prendere un insieme di documenti candidati e riordinarli in base alla rilevanza rispetto a una query, invece di generare nuovo testo. È posizionato come un aggiornamento drop-in di rerank-2.5-lite, il che significa che i team che già usano quel modello possono passare a questo senza cambiare il modo in cui lo integrano.
Il modello accetta testo come input e produce un reranking come output. Ha una lunghezza di contesto di 32.000 token e un output massimo di 28.800. Poiché il suo scopo è valutare e ordinare, non generare, la cosa utile che restituisce è un ordinamento di rilevanza dei passaggi che fornisci, ed è costruito per bilanciare latenza e qualità. Nelle valutazioni di dominio migliora rerank-2.5-lite dello 0,94% di NDCG@10 in media, con un ulteriore miglioramento dell'1,86%. Questo guadagno misurato lo rende un sostituto a basso rischio dove il precedente modello lite è già in produzione.
I casi d'uso pratici derivano direttamente da queste capacità. Si adatta alle pipeline di retrieval augmented generation, dove un retriever di primo stadio restituisce un ampio insieme di candidati e il reranker li restringe e li ordina prima che raggiungano un modello linguistico. Si adatta alla ricerca e alla ricerca interna al sito, dove l'ordine dei risultati conta più della corrispondenza grezza. Si adatta anche alla risposta a domande su raccolte di documenti, basi di conoscenza interne e contenuti di supporto, e a qualsiasi flusso di lavoro che richieda passaggi ordinati in base a quanto bene rispondono a una query specifica. Il grande budget di contesto significa che passaggi candidati lunghi possono essere inclusi senza troncamenti aggressivi, e l'enfasi sulla latenza lo rende ragionevole per applicazioni interattive, non solo per job batch offline.
Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "mongodb/rerank-3-lite". L'elenco dei parametri supportati è vuoto, quindi passa l'id del modello con il tuo input e affidati ai valori predefiniti invece di aspettarti opzioni di tuning nella richiesta. Poiché l'endpoint segue la forma compatibile con OpenAI, le librerie client e i percorsi di codice esistenti possono essere indirizzati ad api14 e a questo id del modello con modifiche minime.
Vale la pena notare che questo è un reranker, non un generatore. Se il tuo compito è scrivere risposte, riassumere o sostenere una conversazione, un modello di generazione di testo è la scelta giusta, e questo modello funziona meglio come stadio davanti a uno di essi. Se devi valutare o ordinare testo rispetto a una query, è il fit appropriato.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "mongodb/rerank-3-lite",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Questa community non ha ancora discussioni. Apri la prima su VoyageAI by MongoDB: rerank-3-lite.