Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large, Intfloat tarafından geliştirilen bir embedding modelidir ve api14 üzerinde embeddings kategorisi altında listelenmiştir. Girdi olarak metin alır ve çıktı olarak embedding döndürür, dolayısıyla bir sohbet veya metin üretim modeli değildir. Amacı, dili saklayabileceğiniz, karşılaştırabileceğiniz ve arama yapabileceğiniz vektörlere dönüştürmektir. Sağlayıcı, modeli 90'dan fazla dildeki cümleleri, paragrafları ve belgeleri 1024 boyutlu yoğun bir vektör uzayına kodladığını, çok dilli erişim ve diller arası benzerlik için ayarlanmış anlamsal embedding'ler sunduğunu belirtmektedir.

Bağlam penceresi 512 token ve maksimum çıktı 460'tır. Girdi metin, çıktı ise üretilen kelimeler yerine bir vektör olduğu için ayarlanacak bir örnekleme davranışı yoktur: model desteklenen parametreleri kabul etmez, bu nedenle istekler girdinizi taşır ve üretim ayarlarına dair başka hiçbir şey içermez. 512 token sınırı, her çağrının uzun bir belgenin tamamı yerine bir cümle, kısa bir paragraf veya benzer boyutta bir parça ile sınırlandırılması gerektiği anlamına gelir.

Pratik kullanımlar bu yapıdan doğar. Çok dilli erişim ana kullanımdır: belgeleri bir veya birkaç dilde dizinleyin ve bunları başka bir dildeki sorgularla arayın. Diller arası benzerlik, farklı dillerde yazılmış metinleri aynı vektör uzayında karşılaştırmanıza veya kümelemenize olanak tanır. İlgili işler arasında karışık dilli bir derlem üzerinde anlamsal arama, neredeyse aynı olan pasajların tekilleştirilmesi, bir metin parçasının referans örneklere ne kadar yakın olduğuna dayalı yönlendirme veya sınıflandırma ve ayrı bir üretim modelini besleyen erişim katmanları oluşturma yer alır.

Modeli api14'ün OpenAI uyumlu API'si üzerinden "intfloat/multilingual-e5-large" model id'sini kullanarak çağırırsınız. Uç nokta OpenAI embeddings yapısını izlediği için, hâlihazırda OpenAI uyumlu bir temel URL'ye yönlendirilmiş mevcut istemci kütüphaneleri ve kodlar yalnızca model id değiştirilerek çalışmalıdır. Metninizi input olarak gönderin ve vektörü yanıttan okuyun. Ek istek parametresi desteklenmez, bu nedenle isteği minimal tutun ve embedding'i modelin döndürmesine izin verin.

512 token bağlamı, planlama yaparken göz önünde bulundurulması gereken ana kısıttır. Uzun belgelerin embedding öncesinde parçalara bölünmesi gerekir ve daha büyük bir pencere varsayan veya geri üretilen metin bekleyen herhangi bir ardışık düzen farklı bir modele ihtiyaç duyacaktır. Göreviniz temsil yerine üretim, özetleme veya sohbet ise, api14 üzerindeki bir instruct veya sohbet modeli daha uygun olacaktır; bu model metni vektörlere dönüştürmek içindir.