Mistral: Mistral Small 3

Mistral Small 3, Mistral का एक टेक्स्ट जनरेशन मॉडल है, जिसे प्रोवाइडर ने 30 जनवरी 2025 को रिलीज़ किया था। यह 24B-पैरामीटर वाला भाषा मॉडल है जो सामान्य AI कार्यों में कम विलंबता (low-latency) प्रदर्शन के लिए अनुकूलित है, और इसे Apache 2.0 लाइसेंस के तहत रिलीज़ किया गया है। इसके pre-trained और instruction-tuned दोनों संस्करण मौजूद हैं, और यहाँ मॉडल id mistralai/mistral-small-24b-instruct-2501 के तहत instruction-tuned संस्करण ही सर्व किया जाता है।

यह मॉडल टेक्स्ट इनपुट के साथ काम करता है और टेक्स्ट आउटपुट देता है, इसलिए यह मानक चैट और completion शैली के वर्कलोड के लिए उपयुक्त है। इसकी context window 32768 tokens है, जो prompt और जनरेट किए गए response दोनों को मिलाकर कवर करती है, और यह एक ही आउटपुट में अधिकतम 16384 tokens तक उत्पन्न कर सकता है। इसका knowledge cutoff 31 अक्टूबर 2023 है, इसलिए उस तारीख के बाद हुई कोई भी बात मॉडल के प्रशिक्षण के दौरान सीखी गई बातों से बाहर है। मध्यम parameter संख्या और 32k context का संयोजन इसे किसी एक संकीर्ण कार्य का विशेषज्ञ नहीं, बल्कि एक सामान्य-उद्देश्य वाला instruct मॉडल बनाता है।

चूँकि यह instruction-tuned है और कम विलंबता के लिए अनुकूलित है, यह मॉडल उन रोज़मर्रा के कार्यों के लिए उपयुक्त है जहाँ response की गति मायने रखती है: चैट सहायक, सारांशीकरण, पुनर्लेखन, वर्गीकरण, निष्कर्षण, और उस सामग्री पर प्रश्नोत्तर जो context window में फिट बैठती है। 16384-token की आउटपुट सीमा लंबी जनरेशन की अनुमति देती है, जैसे कई अनुच्छेदों के ड्राफ्ट या संरचित दस्तावेज़, जबकि 32768-token का context ऐसे prompts का समर्थन करता है जिनमें काफी मात्रा में संदर्भ टेक्स्ट शामिल हो, उदाहरण के लिए कुछ दस्तावेज़ या लंबा वार्तालाप इतिहास। जिन डेवलपर्स को उच्च-मात्रा, विलंबता-संवेदनशील endpoints के लिए एक भरोसेमंद टेक्स्ट मॉडल चाहिए, वे इसके इच्छित उपयोगकर्ता हैं।

आप इसे api14 के OpenAI-संगत API के माध्यम से मॉडल id mistralai/mistral-small-24b-instruct-2501 का उपयोग करके कॉल करते हैं, जिसका अर्थ है कि मौजूदा OpenAI क्लाइंट लाइब्रेरी और request संरचनाएँ केवल मॉडल नाम बदलने के साथ काम करती हैं। यह मॉडल frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, और top_p का समर्थन करता है। Structured outputs और response_format उन मामलों के लिए उपलब्ध हैं जहाँ आपको उत्तर एक निर्धारित आकार में चाहिए, और seed sampling को अधिक प्रतिलिपि-योग्य बनाने में मदद कर सकता है। Sampling व्यवहार को temperature, top_p, top_k, और min_p के माध्यम से नियंत्रित किया जाता है, जबकि repetition_penalty, frequency_penalty, और presence_penalty यह आकार देते हैं कि मॉडल कितना दोहराव करता है।

प्रतिबद्ध होने से पहले दो व्यावहारिक बाधाएँ ध्यान देने योग्य हैं। 31 अक्टूबर 2023 का knowledge cutoff意味着 मॉडल को बाद की घटनाओं की कोई अंतर्निहित जानकारी नहीं है, इसलिए हाल की जानकारी पर निर्भर एप्लिकेशनों को उसे prompt में देना होगा। इनपुट और आउटपुट केवल टेक्स्ट हैं, इसलिए यदि आपके वर्कलोड में छवियाँ या ऑडियो शामिल हैं, तो यह मॉडल उपयुक्त नहीं है। और 32768-token की context window के साथ, बहुत बड़े इनपुट को पूरा पास करने के बजाय chunking या retrieval की आवश्यकता होगी।