VoyageAI by MongoDB: voyage-4

voyage-4 adalah model embedding serbaguna dari Voyage AI, perusahaan di balik keluarga embedding Voyage yang kini menjadi bagian dari MongoDB. Model ini terdaftar di api14 dengan model id voyageai/voyage-4 dan berada dalam kategori embeddings, sehingga dirancang untuk mengubah teks menjadi vektor, bukan untuk menghasilkan respons chat. Jika Anda memilih model embedding untuk sistem retrieval atau pencarian, inilah jenis model yang akan Anda evaluasi bersama opsi embedding serbaguna lainnya.

Model ini menerima teks sebagai input dan mengembalikan embeddings sebagai output. Model ini dideskripsikan sebagai serbaguna dan multibahasa, serta dioptimalkan untuk retrieval dan pencarian maupun aplikasi AI lainnya. Model ini mendukung embeddings pada 2048, 1024, 512, dan 256 dimensi, beserta beberapa opsi kuantisasi, yang memungkinkan Anda menukar ukuran vektor dengan karakteristik penyimpanan dan pencarian tergantung pada indeks Anda. Panjang konteksnya adalah 32000 token, dan output maksimumnya adalah 28800, sehingga dokumen panjang dapat di-embed tanpa memecahnya menjadi banyak bagian kecil.

Kemampuan tersebut mengarah pada serangkaian penggunaan yang cukup spesifik. Retrieval dan pencarian adalah yang utama: mengindeks koleksi dokumen, melakukan embedding query, dan membandingkannya berdasarkan kemiripan vektor. Karena model ini multibahasa, model ini juga cocok untuk koleksi dan query yang mencampur bahasa, dan karena mendukung beberapa dimensi output serta opsi kuantisasi, model ini dapat melayani indeks dengan fidelitas tinggi maupun indeks yang lebih kecil dan lebih ringkas. Aplikasi umum mencakup pipeline retrieval augmented generation, pencarian semantik atas dokumentasi internal, deduplikasi atau clustering teks, serta sistem rekomendasi atau klasifikasi yang beroperasi pada embeddings alih-alih teks yang dihasilkan.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id voyageai/voyage-4, mengirim teks dan menerima embeddings dalam respons. Daftar parameter yang didukung model ini kosong, jadi Anda tidak perlu mengharapkan untuk memberikan kontrol sampling seperti temperature atau top_p; permintaannya pada dasarnya adalah teks input ditambah model id. Pilihan dimensi dan kuantisasi adalah bagian dari perilaku embedding model ini, bukan parameter permintaan yang diekspos di sini, jadi periksa referensi API terkini tentang bagaimana keduanya dipilih sebelum Anda membangun di sekitar ukuran vektor tertentu.

Satu hal yang perlu diingat adalah ini adalah model embedding, bukan model chat atau completion. Jika tugas Anda adalah menghasilkan teks, merangkum, atau melakukan percakapan, model generasi teks adalah pilihan yang tepat, dan voyage-4 hanya akan berguna sebagai komponen pendukung dalam pipeline retrieval. Model ini juga hanya menerima teks, sehingga input dalam modalitas lain berada di luar cakupannya. Dalam batasan tersebut, model ini adalah kandidat yang wajar untuk pekerjaan pencarian dan retrieval ketika Anda ingin mengontrol dimensi embedding.