Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large adalah model embedding dari Intfloat, terdaftar di api14 dalam kategori embeddings. Model ini menerima teks sebagai input dan mengembalikan embeddings sebagai output, jadi ini bukan model chat atau generasi teks. Tujuannya adalah mengubah bahasa menjadi vektor yang dapat Anda simpan, bandingkan dan cari. Provider mendeskripsikannya sebagai model yang mengodekan kalimat, paragraf dan dokumen dalam lebih dari 90 bahasa ke ruang vektor padat 1024 dimensi, dengan embeddings semantik yang disetel untuk pengambilan multibahasa dan kemiripan lintas bahasa.

Context window-nya adalah 512 token dan output maksimumnya 460. Karena inputnya teks dan outputnya vektor bukan kata yang dihasilkan, tidak ada perilaku sampling yang perlu disetel: model ini tidak menerima parameter yang didukung, jadi permintaan hanya membawa input Anda dan tidak ada pengaturan generasi lainnya. Batas 512 token berarti setiap panggilan harus dibatasi pada satu kalimat, paragraf pendek atau potongan dengan ukuran serupa, bukan dokumen panjang yang dikirim utuh.

Kegunaan praktisnya mengikuti bentuk tersebut. Pengambilan multibahasa adalah yang utama: indeks dokumen dalam satu atau beberapa bahasa lalu cari dengan kueri dalam bahasa lain. Kemiripan lintas bahasa memungkinkan Anda membandingkan atau mengelompokkan teks yang ditulis dalam berbagai bahasa di ruang vektor yang sama. Pekerjaan terkait mencakup pencarian semantik pada korpus campuran bahasa, deduplikasi paragraf yang hampir identik, routing atau klasifikasi berdasarkan seberapa dekat suatu teks dengan contoh referensi, dan membangun lapisan pengambilan yang memberi masukan ke model generasi terpisah.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "intfloat/multilingual-e5-large". Karena endpoint mengikuti bentuk embeddings OpenAI, pustaka klien dan kode yang sudah ada yang sudah mengarah ke base URL yang kompatibel dengan OpenAI seharusnya berfungsi hanya dengan mengubah model id. Kirim teks Anda sebagai input dan baca vektor kembali dari respons. Tidak ada parameter permintaan tambahan yang didukung, jadi buat permintaan tetap minimal dan biarkan model mengembalikan embedding.

Konteks 512 token adalah batasan utama yang perlu diperhitungkan. Dokumen panjang perlu dipecah menjadi potongan sebelum embedding, dan pipeline apa pun yang mengasumsikan window lebih besar, atau yang mengharapkan teks yang dihasilkan kembali, akan memerlukan model lain. Jika tugas Anda adalah generasi, peringkasan atau percakapan bukan representasi, model instruct atau chat di api14 lebih cocok; model ini untuk mengubah teks menjadi vektor.