Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large, Intfloat का एक embedding मॉडल है, जो api14 पर embeddings श्रेणी के अंतर्गत सूचीबद्ध है। यह इनपुट के रूप में टेक्स्ट लेता है और आउटपुट के रूप में embeddings लौटाता है, इसलिए यह चैट या टेक्स्ट जनरेशन मॉडल नहीं है। इसका उद्देश्य भाषा को ऐसे वेक्टर में बदलना है जिन्हें आप संग्रहीत, तुलना और खोज सकें। प्रदाता इसे 90 से अधिक भाषाओं के वाक्यों, अनुच्छेदों और दस्तावेज़ों को 1024-आयामी सघन वेक्टर स्पेस में एन्कोड करने वाला बताता है, जिसमें बहुभाषी रिट्रीवल और क्रॉस-लैंग्वेज समानता के लिए ट्यून किए गए semantic embeddings हैं।

कॉन्टेक्स्ट विंडो 512 tokens है और अधिकतम आउटपुट 460 है। चूंकि इनपुट टेक्स्ट है और आउटपुट जनरेट किए गए शब्दों के बजाय एक वेक्टर है, इसलिए ट्यून करने के लिए कोई सैंपलिंग व्यवहार नहीं है: मॉडल supported parameters स्वीकार नहीं करता, इसलिए अनुरोधों में आपका इनपुट होता है और जनरेशन सेटिंग्स के रूप में कुछ और नहीं। 512 token की सीमा का मतलब है कि प्रत्येक कॉल को एक वाक्य, एक छोटे अनुच्छेद या उसी आकार के हिस्से तक सीमित रखना चाहिए, न कि किसी लंबे दस्तावेज़ को पूरा पास करना चाहिए।

व्यावहारिक उपयोग इसी आकार से निकलते हैं। बहुभाषी रिट्रीवल मुख्य है: एक या कई भाषाओं में दस्तावेज़ों को इंडेक्स करें और उन्हें किसी अन्य भाषा में क्वेरी से खोजें। क्रॉस-लैंग्वेज समानता आपको एक ही वेक्टर स्पेस में अलग-अलग भाषाओं में लिखे टेक्स्ट की तुलना या क्लस्टर करने देती है। संबंधित कार्यों में मिश्रित-भाषा कोर्पस पर semantic search, लगभग समान अनुच्छेदों का डुप्लीकेशन हटाना, टेक्स्ट के किसी हिस्से के संदर्भ उदाहरणों के कितना करीब होने के आधार पर रूटिंग या वर्गीकरण, और ऐसी रिट्रीवल परतें बनाना शामिल है जो किसी अलग जनरेशन मॉडल को फीड करती हैं।

आप इसे api14 के OpenAI-संगत API के माध्यम से मॉडल id "intfloat/multilingual-e5-large" का उपयोग करके कॉल करते हैं। चूंकि endpoint OpenAI embeddings के आकार का अनुसरण करता है, मौजूदा क्लाइंट लाइब्रेरी और कोड जो पहले से OpenAI-संगत base URL की ओर इशारा करते हैं, उन्हें केवल मॉडल id बदलकर काम करना चाहिए। अपना टेक्स्ट input के रूप में भेजें और response से वेक्टर पढ़ें। कोई अतिरिक्त request parameters समर्थित नहीं हैं, इसलिए request न्यूनतम रखें और मॉडल को embedding लौटाने दें।

512 token का कॉन्टेक्स्ट ही मुख्य बाधा है जिसके इर्द-गिर्द योजना बनानी चाहिए। लंबे दस्तावेज़ों को embedding से पहले chunks में विभाजित करना होगा, और कोई भी pipeline जो बड़ी विंडो मानता है, या जो जनरेट किया गया टेक्स्ट वापस अपेक्षित करता है, उसे अलग मॉडल चाहिए होगा। यदि आपका कार्य प्रतिनिधित्व के बजाय जनरेशन, सारांशीकरण या संवाद है, तो api14 पर कोई instruct या chat मॉडल बेहतर फिट है; यह मॉडल टेक्स्ट को वेक्टर में बदलने के लिए है।