VoyageAI by MongoDB: rerank-3

VoyageAI oleh MongoDB: rerank-3 adalah model reranking dari Voyage AI, penyedia yang kini menjadi bagian dari MongoDB. Model ini berada di kategori rerank, dan Voyage AI memposisikannya sebagai reranker yang dioptimalkan serta peningkatan drop-in untuk rerank-2.5. Ini bukan model chat atau generasi teks: model ini ada untuk mengambil sekumpulan dokumen kandidat dan mengurutkannya kembali berdasarkan relevansi terhadap sebuah query.

Model ini bekerja dengan input teks dan menghasilkan output reranking. Panjang konteksnya 32.000 token, cukup besar untuk menampung sebuah query bersama sejumlah besar passage kandidat dalam satu panggilan. Output maksimumnya 28.800. Karena ini adalah reranker, bentuk responsnya adalah urutan peringkat dokumen yang Anda berikan, bukan prosa bebas. Tidak ada parameter yang didukung yang tercantum untuk model ini, jadi pemanggil tidak boleh mengharapkan kontrol sampling (temperature, top_p dan sejenisnya) yang berlaku untuk model generatif.

Kasus penggunaan praktisnya mengikuti langsung dari desain tersebut. Pola yang umum adalah pipeline retrieval dua tahap: pencarian vektor atau kata kunci yang cepat mengembalikan kumpulan kandidat yang luas, lalu rerank-3 mengurutkannya kembali sehingga hasil yang paling relevan muncul di atas. Ini meningkatkan kualitas hasil pencarian, konteks retrieval-augmented generation, question answering atas koleksi dokumen, serta fitur rekomendasi atau pencocokan yang mengutamakan peringkat relevansi. Karena penyedia menyebutkan peningkatan pada evaluasi dokumen panjang, model ini juga cocok digunakan ketika passage yang diperingkat berukuran panjang, bukan potongan pendek.

Untuk memanggilnya melalui api14, gunakan model id "voyageai/rerank-3" pada endpoint yang kompatibel dengan OpenAI. Karena api14 menyediakan API yang kompatibel dengan OpenAI, Anda mengarahkan klien yang sudah ada ke gateway tersebut dan meneruskan id itu sebagai model. Karena model ini tidak mencantumkan parameter yang didukung, Anda sebaiknya mengirim permintaan sederhana berisi query dan dokumen yang akan diperingkat, lalu mengandalkan perilaku peringkat model itu sendiri daripada menyetel pengaturan decoding.

Satu batasan yang perlu diperhatikan adalah cakupannya. rerank-3 hanya melakukan reranking teks; model ini tidak menghasilkan jawaban atau ringkasan, jadi jika Anda memerlukan model yang menghasilkan teks, Anda akan memasangkannya dengan model generatif. Selain itu, jika pipeline Anda tidak memiliki langkah retrieval terpisah dan Anda hanya memerlukan pencarian embedding tahap pertama, model embedding khusus mungkin menjadi titik awal yang lebih sederhana, dengan rerank-3 ditambahkan kemudian untuk menyempurnakan urutan.