Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers: all-MiniLM-L6-v2 adalah model embedding dari Sentence Transformers, terdaftar di api14 di bawah kategori embeddings. Ini adalah model embedding kalimat yang ringkas, bukan model chat atau generasi teks, jadi tugasnya adalah mengubah teks menjadi vektor yang menangkap makna. Jika Anda membangun pencarian semantik, deduplikasi, atau clustering, inilah jenis model yang Anda gunakan, bukan model generatif.

Model ini menerima teks sebagai input dan mengembalikan embedding sebagai output. Model ini memetakan kalimat dan paragraf pendek ke ruang vektor padat berdimensi 384, yang membuatnya berguna untuk representasi semantik. Jendela konteksnya adalah 512 token, dan output maksimumnya adalah 460, jadi model ini dirancang untuk kalimat dan bagian pendek, bukan dokumen panjang. Tidak ada dukungan untuk parameter gaya sampling atau generasi, karena model ini tidak menghasilkan teks.

Kemampuan tersebut mengarah pada serangkaian kasus penggunaan yang cukup spesifik. Information retrieval dan pencarian semantik adalah yang paling jelas: embed dokumen dan query Anda, lalu bandingkan vektor berdasarkan kemiripan. Clustering dan pengelompokan topik berjalan baik karena vektor yang berdekatan cenderung memiliki makna yang mirip. Properti yang sama membantu untuk deduplikasi, deteksi near-duplicate, dan membangun pipeline rekomendasi atau reranking di mana Anda membutuhkan langkah embedding yang cepat dan kecil. Karena vektornya hanya 384 dimensi, penyimpanan dan perbandingan tetap murah pada skala besar.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "sentence-transformers/all-minilm-l6-v2". Karena endpoint mengikuti bentuk embeddings OpenAI, Anda mengirim teks di field input dan membaca vektor kembali dari response. Model ini tidak mencantumkan parameter yang didukung, jadi tidak ada tambahan yang perlu disetel di body request selain model id dan input itu sendiri. Anggap konteks 512 token sebagai batas keras saat menyiapkan input Anda.

Batas konteks itu adalah kendala praktis utama. Jika unit makna Anda lebih panjang dari paragraf pendek, Anda perlu membaginya menjadi chunk sebelum embedding, dan kualitas chunking Anda akan lebih penting daripada apa pun di pipeline. Jika Anda membutuhkan model yang menghasilkan teks, menjawab pertanyaan, atau mengikuti instruksi, model embeddings adalah alat yang salah dan Anda sebaiknya melihat model chat atau completion. Untuk kemiripan semantik pada kalimat dan bagian pendek, model ini cocok langsung untuk tugas tersebut.