XingChen: Xing4.0 29B A4B (free)

XingChen: Xing4.0 29B A4B (free) XingChen का एक ओपन-वेट मिक्सचर-ऑफ-एक्सपर्ट्स भाषा मॉडल है, जिसे चाइना टेलीकॉम की AI टीम (TeleAI) ने विकसित किया है। यह TeleChat श्रृंखला का उत्तराधिकारी है। मॉडल में कुल 29B पैरामीटर हैं और प्रति टोकन 4B सक्रिय होते हैं, जिसका अर्थ है कि हर उत्पन्न टोकन के लिए नेटवर्क का केवल एक उपसमूह ही काम में लिया जाता है। यह केवल टेक्स्ट वाला मॉडल है, जिसे api14 पर टेक्स्ट श्रेणी के अंतर्गत सूचीबद्ध किया गया है।

मॉडल इनपुट के रूप में टेक्स्ट लेता है और आउटपुट के रूप में टेक्स्ट देता है। यह 262144 टोकन की कॉन्टेक्स्ट विंडो का समर्थन करता है, और इसकी अधिकतम आउटपुट लंबाई 235929 टोकन है। यह संयोजन इसे ऐसे कार्यभार के लिए उपयुक्त बनाता है जहाँ बहुत लंबे दस्तावेज़ों या विस्तारित बातचीत को एक ही अनुरोध में संसाधित करने की आवश्यकता होती है, और जहाँ उत्पन्न प्रतिक्रिया स्वयं भी लंबी हो सकती है। चूँकि यह मिक्सचर-ऑफ-एक्सपर्ट्स डिज़ाइन है, प्रति टोकन सक्रिय पैरामीटर की संख्या कुल से बहुत कम होती है, जो प्रासंगिक है यदि आप केवल कच्चे पैरामीटर की संख्या के बजाय थ्रूपुट और सर्विंग विशेषताओं के बारे में सोच रहे हैं।

व्यावहारिक उपयोग के मामले सीधे लंबे कॉन्टेक्स्ट और केवल-टेक्स्ट इंटरफ़ेस से निकलते हैं। आप इसका उपयोग लंबी रिपोर्टों, अनुबंधों, ट्रांसक्रिप्टों या कोडबेस का सारांश बनाने या विश्लेषण करने के लिए कर सकते हैं, जो छोटी कॉन्टेक्स्ट विंडो में नहीं समा पाएँगे। यह उन मल्टी-टर्न सहायकों के लिए उपयुक्त है जिन्हें बड़ी मात्रा में पिछली बातचीत बनाए रखनी होती है, और दस्तावेज़ प्रश्न उत्तर के लिए भी, जहाँ स्रोत सामग्री पूरी तरह पास की जाती है। टूल और संरचित आउटपुट समर्थन इसे एजेंट-शैली वर्कफ़्लो, फ़ंक्शन कॉलिंग, और ऐसे अनुप्रयोगों के लिए भी उम्मीदवार बनाता है जिन्हें मुक्त टेक्स्ट के बजाय परिभाषित JSON आकार में प्रतिक्रियाएँ चाहिए।

आप मॉडल को api14 के OpenAI-संगत API के माध्यम से मॉडल आईडी "xingchen-agi/xing4.0-29b-a4b:free" का उपयोग करके कॉल करते हैं। चूँकि एंडपॉइंट OpenAI चैट कम्प्लीशन्स प्रारूप का पालन करता है, आप मौजूदा OpenAI SDKs का उपयोग कर सकते हैं और उन्हें api14 पर इंगित कर सकते हैं। मॉडल अनुरोध पैरामीटर के एक विस्तृत सेट का समर्थन करता है: frequency_penalty, include_reasoning, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k और top_p। reasoning और include_reasoning की उपस्थिति का अर्थ है कि आप रीज़निंग आउटपुट का अनुरोध कर सकते हैं जहाँ मॉडल इसे उजागर करता है, और tools के साथ tool_choice तथा structured_outputs फ़ंक्शन कॉलिंग और स्कीमा-प्रतिबंधित जनरेशन को कवर करते हैं।

एक बात विचार करने योग्य है कि यह केवल टेक्स्ट वाला मॉडल है, इसलिए यह इनपुट के रूप में छवियाँ या ऑडियो स्वीकार नहीं कर सकता, और न ही इन्हें उत्पन्न करता है। यदि आपका अनुप्रयोग मल्टीमॉडल इनपुट पर निर्भर करता है, तो आपको एक अलग मॉडल की आवश्यकता होगी। उत्पादन में इसे अपनाने से पहले मुफ़्त वेरिएंट को अपनी स्वयं की लेटेंसी और गुणवत्ता आवश्यकताओं के विरुद्ध परखना भी उचित है, क्योंकि यहाँ दिए गए तथ्य क्षमताओं और पैरामीटर का वर्णन करते हैं, मापे गए प्रदर्शन का नहीं।