VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite adalah model embedding dari Voyage AI, perusahaan di balik keluarga model retrieval Voyage, yang kini menjadi bagian dari MongoDB. Model ini berada dalam kategori embeddings, bukan kategori chat, yang berarti model ini tidak menghasilkan teks. Sebaliknya, model ini mengubah teks menjadi vektor yang Anda simpan dan bandingkan. Model ini diposisikan sebagai model serbaguna yang ringan, dirancang untuk latensi dan biaya rendah, bukan untuk akurasi maksimum pada masalah retrieval yang paling sulit.

Model ini menerima teks sebagai input dan mengembalikan embeddings sebagai output. Panjang konteksnya adalah 32.000 token, dan output maksimumnya adalah 28.800, sehingga dokumen panjang dapat di-embed tanpa harus dipecah menjadi banyak potongan kecil. Voyage AI melatihnya dengan Matryoshka learning dan quantization-aware training, yang memungkinkan satu model menghasilkan embeddings pada 2048, 1024, 512, dan 256 dimensi. Anda memilih dimensi yang sesuai dengan anggaran penyimpanan dan latensi Anda, dan vektor yang lebih pendek tetap dapat digunakan, bukan menjadi tidak berguna.

Properti tersebut mengarah pada serangkaian penggunaan yang cukup spesifik. Pencarian semantik pada kumpulan dokumen, di mana Anda melakukan embed pada potongan sekali lalu menanyakannya dengan pertanyaan yang di-embed, adalah kasus utamanya. Vektor yang sama mendukung retrieval augmented generation, deduplikasi dan deteksi near-duplicate, clustering dan pengelompokan topik, serta klasifikasi atau routing ketika Anda membandingkan input terhadap contoh yang berlabel. Karena model ini menangani konteks 32.000 token, Anda dapat melakukan embed pada seluruh halaman atau bagian panjang secara langsung, yang cocok untuk pencarian kode, triase tiket dukungan, dan basis pengetahuan internal. Opsi dimensi yang lebih rendah menjadi penting ketika Anda menyimpan jutaan vektor dan ingin menjaga indeks tetap kecil.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "voyageai/voyage-4-lite". Karena endpoint ini mengikuti bentuk embeddings OpenAI, klien dan library yang ada dapat bekerja hanya dengan mengubah base URL dan model id. Model ini tidak mengekspos parameter tambahan yang didukung, sehingga permintaan mengandalkan field standar yang diterima endpoint embeddings, seperti teks input dan model id. Tidak ada sampling, temperature, atau konfigurasi tool yang perlu diatur, karena semua itu tidak berlaku untuk model embedding.

Jika tugas Anda adalah pembuatan teks, peringkasan, atau penalaran, ini adalah model yang salah dan model chat akan lebih cocok. voyage-4-lite juga digambarkan sebagai ringan dan serbaguna, jadi jika Anda membutuhkan kualitas retrieval terkuat pada korpus yang terspesialisasi atau sangat teknis, model embedding Voyage yang lebih besar adalah pilihan yang lebih mungkin.