Sentence Transformers: all-mpnet-base-v2

Sentence Transformers: all-mpnet-base-v2 adalah model embedding dari Sentence Transformers, sebuah keluarga model yang dibangun untuk mengubah teks menjadi vektor. Model ini berada dalam kategori embeddings, yang berarti dirancang untuk menghasilkan representasi teks, bukan untuk menghasilkan teks itu sendiri. Model ini mengodekan kalimat dan paragraf pendek ke dalam ruang vektor padat berdimensi 768, dan diposisikan oleh penyedianya sebagai opsi fidelitas tinggi untuk pekerjaan semantik.

Di sisi input, model ini hanya menerima teks. Di sisi output, model ini mengembalikan embedding, bukan kata atau pesan chat, jadi Anda tidak boleh mengharapkannya menjawab pertanyaan atau melakukan percakapan. Panjang konteks adalah 512 token, dan output maksimum adalah 460. Kedua angka ini penting dalam praktik: jendela 512 token mencakup satu kalimat atau paragraf pendek, dan apa pun yang lebih panjang harus dipotong sebelum Anda mengirimkannya. Embedding yang dikembalikan adalah vektor berdimensi 768.

Kemampuan tersebut mengarah pada serangkaian penggunaan yang cukup spesifik. Information retrieval adalah kecocokan alami, di mana Anda menyematkan kueri dan korpus lalu membandingkannya. Clustering juga demikian, karena kalimat yang berdekatan di ruang berdimensi 768 sering kali termasuk dalam topik yang sama. Penilaian kemiripan mengikuti langsung dari itu, misalnya memberi peringkat pada kandidat petikan terhadap suatu referensi, atau mendeteksi teks yang hampir duplikat. Karena model ini menangani kalimat dan paragraf pendek, tugas-tugas ini paling baik dilakukan ketika setiap input yang Anda sematkan pendek dan mandiri.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14, menggunakan id model "sentence-transformers/all-mpnet-base-v2". Karena antarmukanya mengikuti bentuk embeddings OpenAI, klien dan pustaka yang ada yang menargetkan endpoint tersebut dapat diarahkan ke api14 tanpa penanganan khusus. Perhatikan bahwa model ini tidak mencantumkan parameter yang didukung, jadi isi permintaan sebaiknya membawa id model dan teks input, dan Anda tidak boleh mengandalkan tombol opsional seperti dimensions atau encoding format untuk diterapkan.

Konteks 512 token dan batas output 460 adalah batasan praktis utama di sini. Jika teks Anda lebih panjang dari satu kalimat atau paragraf pendek, potong menjadi beberapa bagian dan sematkan masing-masing, lalu gabungkan hasilnya. Dan jika yang sebenarnya Anda butuhkan adalah teks yang dihasilkan, bukan vektor, model chat generatif akan lebih cocok; model ini hanya menghasilkan embedding.