VoyageAI by MongoDB: rerank-2.5

VoyageAI by MongoDB: rerank-2.5 adalah model reranking dari Voyage AI, penyedia yang reranker-nya didistribusikan dengan nama VoyageAI by MongoDB. Model ini berada di kategori rerank, yang berarti tugasnya bukan menghasilkan teks melainkan mengambil sekumpulan dokumen kandidat dan menyusun ulang berdasarkan relevansi terhadap sebuah query. Jika aplikasi Anda sudah mengambil passage, chunk, atau hasil pencarian dan Anda ingin kecocokan terbaik berada di atas, inilah jenis model yang Anda gunakan.

Model ini menerima teks sebagai input dan menghasilkan reranking sebagai output. Panjang konteksnya 32.000 token, yaitu anggaran yang dibagi bersama antara query dan dokumen yang Anda kirimkan dalam satu permintaan, dan output maksimum 28.800. Karena output-nya berupa peringkat dan bukan prosa yang dihasilkan, Anda tidak boleh mengharapkannya menjawab pertanyaan, merangkum konten, atau menulis kode. Seluruh kontribusinya adalah pengurutan relevansi atas kandidat yang Anda berikan.

Kasus penggunaan praktis mengikuti hal tersebut secara langsung. Pipeline retrieval augmented generation dapat menggunakan rerank-2.5 sebagai tahap kedua setelah pencarian vektor atau kata kunci yang cepat, mengambil kandidat teratas dan menyusun ulang sehingga chunk yang paling relevan adalah yang diteruskan ke model generasi. Pola yang sama berlaku untuk pencarian enterprise, pencarian dokumentasi, dan basis pengetahuan dukungan, di mana tahap pertama mengutamakan recall dan reranker memulihkan precision. Model ini juga berguna untuk tugas deduplikasi dan prioritisasi ketika Anda memiliki lebih banyak passage kandidat daripada yang mampu Anda tampilkan ke pengguna atau masukkan ke prompt hilir.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "voyageai/rerank-2.5". Karena endpoint-nya mengikuti skema OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke base URL api14 dan meneruskan id ini di field model. Daftar parameter yang didukung model ini kosong, jadi tidak ada opsi penyetelan tambahan yang perlu diatur selain yang diminta oleh permintaan rerank itu sendiri, seperti query dan dokumen yang akan dinilai. Jaga permintaan tetap dalam konteks 32.000 token, dengan mengingat bahwa query dan setiap dokumen kandidat dihitung terhadap total tersebut.

Mengenai kapan harus mencari model lain: rerank-2.5 hanya menangani teks dan hanya mengembalikan peringkat, jadi tugas yang membutuhkan input gambar, audio, atau output yang dihasilkan berada di luar cakupannya dan menjadi milik model yang berbeda. Jika Anda membutuhkan satu model untuk sekaligus mengambil dan menjawab, model generasi adalah pilihan yang lebih tepat, dengan rerank-2.5 secara opsional ditempatkan di depannya sebagai tahap precision.