Cohere: Command R7B (12-2024)

Command R7B (12-2024) Cohere का एक टेक्स्ट मॉडल है, जिसे प्रदाता ने 14 दिसंबर 2024 को जारी किया था। इसे Command R+ मॉडल का एक छोटा, तेज़ अपडेट बताया गया है, जो इसे Cohere के Command भाषा मॉडल परिवार में रखता है, जिसका लक्ष्य केवल सामान्य चैट के बजाय व्यावहारिक, टूल-संचालित कार्यभार है। यदि आप Command श्रृंखला से पहले से परिचित हैं, तो यह कॉम्पैक्ट, तेज़ विकल्प है जिस पर विचार करना चाहिए जब आप बड़े मॉडल के बिना समान प्रकार की कार्य कवरेज चाहते हैं।

मॉडल टेक्स्ट इनपुट लेता है और टेक्स्ट आउटपुट देता है, जिसमें 128,000 टोकन की कॉन्टेक्स्ट विंडो और अधिकतम 4,000 टोकन का आउटपुट होता है। इसका ज्ञान कटऑफ 31 अगस्त 2024 है, इसलिए उस तारीख के बाद की कोई भी जानकारी उसके प्रशिक्षण के दौरान सीखी गई बातों से बाहर है। Cohere इसे retrieval augmented generation, टूल उपयोग, एजेंट और समान कार्यों में मजबूत बताता है जिनके लिए जटिल तर्क की आवश्यकता होती है। ये वे क्षमताएं हैं जिनके आसपास योजना बनाई जानी चाहिए: लंबे इनपुट, संरचित या टूल-उन्मुख कार्य, और बहु-चरणीय तर्क, न कि केवल रचनात्मक लेखन।

यह संयोजन उपयोग के मामलों के एक काफी विशिष्ट समूह की ओर इशारा करता है। RAG पाइपलाइनें स्पष्ट रूप से उपयुक्त हैं, क्योंकि 128k कॉन्टेक्स्ट आपको प्रश्न के साथ पुनर्प्राप्त दस्तावेज़ों को आक्रामक रूप से छोटा किए बिना भरने देता है। टूल उपयोग और एजेंट लूप इन्हीं ताकतों से आते हैं, उदाहरण के लिए एक मॉडल जो तय करता है कि कौन सा फ़ंक्शन कॉल करना है, परिणाम पढ़ता है, और जारी रखता है। चूंकि संरचित आउटपुट समर्थित हैं, आप इसे निष्कर्षण और वर्गीकरण कार्यों के लिए भी उपयोग कर सकते हैं जहां प्रतिक्रिया को एक स्कीमा के अनुरूप होना चाहिए। 4,000 टोकन की आउटपुट सीमा ध्यान देने योग्य है: यह उत्तरों, सारांशों और टूल कॉल के लिए उपयुक्त है, लेकिन एक ही प्रतिक्रिया में लंबे दस्तावेज़ निर्माण के लिए नहीं।

आप इसे api14 के OpenAI-संगत API के माध्यम से मॉडल आईडी "cohere/command-r7b-12-2024" का उपयोग करके कॉल करते हैं। चूंकि इंटरफ़ेस OpenAI chat completions के आकार का अनुसरण करता है, मौजूदा OpenAI SDK और क्लाइंट आमतौर पर केवल बेस URL और मॉडल आईडी बदलने के साथ काम करते हैं। यह जिन अनुरोध मापदंडों का समर्थन करता है वे हैं frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k और top_p। seed की उपस्थिति तब उपयोगी होती है जब आप प्रतिलिपि प्रस्तुत करने योग्य सैंपलिंग चाहते हैं, और response_format के साथ structured_outputs वे हैं जिन्हें तब चुनना चाहिए जब डाउनस्ट्रीम कोड को पार्स करने योग्य आउटपुट चाहिए।

सीमाओं पर, दिए गए मुख्य प्रतिबंध 4,000 टोकन का अधिकतम आउटपुट और 31 अगस्त 2024 का ज्ञान कटऑफ हैं। यदि आपका कार्य बहुत हाल की जानकारी पर निर्भर करता है, तो आपको इसे मॉडल के अपने ज्ञान पर निर्भर रहने के बजाय प्रॉम्प्ट में या पुनर्प्राप्ति के माध्यम से प्रदान करना होगा। यदि आपको छवि या ऑडियो इनपुट चाहिए, तो यह मॉडल उन्हें स्वीकार नहीं करता, क्योंकि यह केवल टेक्स्ट है। इन सीमाओं के भीतर यह RAG, एजेंट और संरचित टेक्स्ट कार्यों के लिए एक उचित डिफ़ॉल्ट है जहां गति और लंबी इनपुट विंडो लंबे रूप के निर्माण से अधिक मायने रखती है।