VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 è un modello di reranking di Voyage AI, un provider i cui reranker sono distribuiti con il nome VoyageAI by MongoDB. Si colloca nella categoria rerank, il che significa che il suo compito non è generare testo ma prendere un insieme di documenti candidati e riordinarli in base alla rilevanza rispetto a una query. Se la tua applicazione recupera già passaggi, chunk o risultati di ricerca e vuoi che le corrispondenze migliori siano in cima, questo è il tipo di modello a cui rivolgersi.

Il modello accetta testo come input e produce un reranking come output. Ha una lunghezza di contesto di 32.000 token, che è il budget condiviso tra la query e i documenti inviati in una singola richiesta, e un output massimo di 28.800. Poiché l'output è una classifica e non prosa generata, non aspettarti che risponda a domande, riassuma contenuti o scriva codice. Il suo intero contributo è un ordinamento per rilevanza sui candidati forniti.

I casi d'uso pratici derivano direttamente da questo. Una pipeline di retrieval augmented generation può usare rerank-2.5 come secondo stadio dopo una ricerca vettoriale o per parole chiave veloce, prendendo i migliori candidati e riordinandoli in modo che i chunk più rilevanti siano quelli passati a un modello di generazione. Lo stesso schema si applica alla ricerca aziendale, alla ricerca nella documentazione e alle basi di conoscenza per il supporto, dove il primo stadio favorisce il richiamo e il reranker ripristina la precisione. È utile anche per attività di deduplicazione e prioritizzazione in cui hai più passaggi candidati di quanti puoi permetterti di mostrare a un utente o inserire in un prompt a valle.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello "voyageai/rerank-2.5". Poiché l'endpoint segue lo schema OpenAI, puoi puntare un client OpenAI esistente all'URL di base di api14 e passare questo id nel campo model. La lista dei parametri supportati dal modello è vuota, quindi non ci sono opzioni di regolazione aggiuntive da impostare oltre a ciò che richiede la richiesta di rerank stessa, come la query e i documenti da valutare. Mantieni le richieste entro il contesto di 32.000 token, ricordando che la query e ogni documento candidato contribuiscono a quel totale.

Sulla questione di quando guardare altrove: rerank-2.5 gestisce solo testo e restituisce solo una classifica, quindi le attività che richiedono input di immagini, audio o output generato sono fuori dal suo ambito e appartengono a un modello diverso. Se hai bisogno di un singolo modello che sia recuperi sia risponda, un modello di generazione è la scelta migliore, con rerank-2.5 eventualmente posto davanti ad esso come stadio di precisione.