BAAI: bge-base-en-v1.5

BAAI: bge-base-en-v1.5, BAAI यानी Beijing Academy of Artificial Intelligence का एक embedding मॉडल है। यह embeddings श्रेणी में आता है, जिसका मतलब है कि इसे चैट जवाब बनाने या टेक्स्ट पूरा करने के लिए नहीं बनाया गया है। इसके बजाय, यह टेक्स्ट को संख्यात्मक वेक्टर में बदलता है। यह एक अंग्रेज़ी भाषा का मॉडल है, और इसके नाम में v1.5 यह दर्शाता है कि यह bge-base-en परिवार का 1.5 संस्करण है। अगर आपके एप्लिकेशन को सामान्य चैट सहायक चाहिए, तो यह उस तरह का मॉडल नहीं है। अगर आपके एप्लिकेशन को अर्थ के आधार पर टेक्स्ट की तुलना, खोज या मिलान करना है, तो यह उस तरह का मॉडल है जिसे आपको परखना चाहिए।

मॉडल इनपुट के रूप में टेक्स्ट लेता है और आउटपुट के रूप में embeddings बनाता है। विशेष रूप से, यह अंग्रेज़ी वाक्यों और अनुच्छेदों को 768-आयामी dense वेक्टर में बदलता है, जिनका उद्देश्य अर्थ संबंधी जानकारी रखना है। कॉन्टेक्स्ट लंबाई 512 टोकन है, और अधिकतम आउटपुट 460 है। व्यवहार में, 512 टोकन का मतलब है कि आपको लंबे दस्तावेज़ों के बजाय वाक्य या एकल अनुच्छेद भेजने चाहिए, क्योंकि लंबी सामग्री को embedding से पहले विभाजित करना होगा। प्रोवाइडर मॉडल को retrieval, semantic search और document-matching वर्कफ़्लो के लिए अनुकूलित, कुशल और उच्च गुणवत्ता वाले semantic embeddings देने वाला बताता है। वेक्टर dense हैं, इसलिए वे बड़े पैमाने पर संग्रहीत और तुलना करने के लिए पर्याप्त संक्षिप्त हैं।

ये विशेषताएँ उपयोग के काफी विशिष्ट समूह की ओर इशारा करती हैं। Semantic search सबसे स्पष्ट है: एक query और अपने दस्तावेज़ों को embed करें, फिर कीवर्ड ओवरलैप के बजाय वेक्टर समानता से दस्तावेज़ों को रैंक करें। Retrieval पाइपलाइनें इसी व्यवहार का उपयोग किसी प्रश्न से संबंधित अंश लाने के लिए कर सकती हैं। Document matching भी फिट बैठता है, उदाहरण के लिए लगभग-डुप्लिकेट रिकॉर्ड ढूँढना, समान सपोर्ट टिकटों को समूहित करना, या दो संग्रहों में संबंधित आइटम जोड़ना। चूँकि मॉडल केवल अंग्रेज़ी है और 512 टोकन तक सीमित है, यह वाक्य और अनुच्छेद स्तर के कार्यों के लिए उपयुक्त है। छोटे अंग्रेज़ी टेक्स्ट पर deduplication, clustering और similarity scoring सभी स्वाभाविक रूप से फिट हैं, बशर्ते आप पहले लंबे इनपुट को खंडों में बाँटें।

आप मॉडल को api14 के OpenAI-संगत API के माध्यम से मॉडल id "baai/bge-base-en-v1.5" का उपयोग करके कॉल करते हैं। चूँकि API OpenAI प्रारूप का पालन करता है, आप एक मौजूदा OpenAI क्लाइंट को api14 पर इंगित कर सकते हैं, अपना टेक्स्ट embeddings endpoint पर भेज सकते हैं, और प्रतिक्रिया में वेक्टर प्राप्त कर सकते हैं। इस मॉडल के लिए सूचीबद्ध समर्थित पैरामीटर खाली हैं, इसलिए यह आपके अनुरोध में पहले से शामिल विकल्पों के अलावा कोई अतिरिक्त ट्यूनिंग विकल्प नहीं लेता; temperature या top_p जैसा सेट करने के लिए कुछ नहीं है, क्योंकि वे टेक्स्ट जनरेशन से संबंधित हैं, embedding से नहीं। वर्तमान दरों के लिए इस पृष्ठ पर लाइव मूल्य तालिका देखें।

ध्यान में रखने योग्य मुख्य बाधाएँ हैं 512 टोकन कॉन्टेक्स्ट लंबाई, 460 अधिकतम आउटपुट, केवल अंग्रेज़ी इनपुट, और यह तथ्य कि आउटपुट गद्य के बजाय वेक्टर है। अगर आपको लंबे दस्तावेज़ों को एक ही बार में embed करना है, कई भाषाओं को संभालना है, या टेक्स्ट जनरेट करना है, तो api14 पर कोई अन्य मॉडल अधिक उपयुक्त होगा। अपने इच्छित दायरे में, अंग्रेज़ी वाक्यों और अनुच्छेदों पर retrieval, semantic search और document matching, यह मॉडल एक सीधा विकल्प है।