Usiamo i cookie. Cookie e memoria del browser ti mantengono connesso e ricordano le tue preferenze. Con il tuo consenso misuriamo anche come viene usato il sito. Puoi in qualsiasi momento. Consulta la nostra cookie policy.
cohere/rerank-5-fastUsa il tuo saldo ai prezzi indicati sopra. I nuovi account partono con utilizzo gratuito.
Impostazioni
Cohere: Rerank 5 Fast è un modello di reranking di Cohere, posizionato come il tier a bassa latenza della famiglia Rerank 5 dell'azienda. Anziché generare testo, assegna un punteggio e riordina i documenti candidati rispetto a una query, il che lo colloca nella fase di retrieval di una pipeline di ricerca o RAG anziché nella fase di generazione.
Il modello lavora con input testuale e produce un output di rerank, il che significa che la sua risposta è un ordinamento dei documenti forniti anziché nuovo testo. Supporta una lunghezza di contesto di 32768 token, e il suo output massimo è 29491. Poiché è costruito per assegnare punteggi e riordinare, non accetta i parametri di sampling o di generazione che ci si aspetterebbe da un modello di chat.
I casi d'uso pratici derivano direttamente da questo comportamento. Se si esegue un retriever di primo stadio come una ricerca vettoriale o una ricerca per parole chiave, Rerank 5 Fast può prendere i migliori candidati restituiti e riordinarli in modo che i documenti più rilevanti si trovino in cima. Questo migliora la qualità di ciò che si passa a un generatore di risposte a valle, ed è utile anche quando si presentano i risultati di ricerca direttamente a un utente. Il tier a bassa latenza è pensato per il retrieval ad alto throughput, quindi si adatta a pipeline che emettono molte query e non possono permettersi un passaggio di reranking lento su ciascuna di esse.
Si chiama tramite l'API compatibile con OpenAI di api14 usando il model id "cohere/rerank-5-fast". Poiché l'endpoint segue il formato OpenAI, è possibile indirizzare le librerie client OpenAI esistenti verso api14 e passare quell'id come model. Il modello non elenca parametri supportati, quindi le richieste si basano sul model id insieme alla query e ai documenti candidati anziché su opzioni di tuning.
Poiché Rerank 5 Fast riordina solo i documenti forniti, non è adatto quando serve generazione di testo, riassunto o ragionamento su un prompt. Tali attività richiedono un modello generativo, con il reranking applicato in precedenza se la qualità del retrieval è importante.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.post("/rerank", { body: {
"model": "cohere/rerank-5-fast",
"query": "What is the capital of France?",
"documents": [
"Paris is the capital of France.",
"Berlin is in Germany."
],
"top_n": 1
} });
console.log(result.results);
Questa community non ha ancora discussioni. Apri la prima su Cohere: Rerank 5 Fast.