Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3, Mistral का एक text-to-speech मॉडल है। यह speech श्रेणी में आता है और api14 पर mistralai/voxtral-mini-tts-3-0 के रूप में पहचाना जाता है। इसे Mistral द्वारा बनाया गया है, वही प्रदाता जो पूरे Voxtral परिवार के पीछे है, और इसका काम संकीर्ण और विशिष्ट है: लिखित text को बोले गए audio में बदलना, न कि text उत्पन्न या संपादित करना।

मॉडल अपने एकमात्र इनपुट के रूप में text लेता है और अपने एकमात्र आउटपुट के रूप में speech लौटाता है। इसकी context window 4096 tokens है, और अधिकतम आउटपुट 3276 tokens है, जो सीमित करता है कि आप एक अनुरोध में कितना text भेज सकते हैं। Voxtral TTS 3 preset voices की एक बड़ी लाइब्रेरी के साथ आता है। इनमें en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry और en_paul_excited जैसी नामित अंग्रेज़ी voices, gb_oliver_neutral, gb_jane_sarcasm और gb_jane_confused जैसी ब्रिटिश voices, fr_marie_neutral और fr_marie_angry जैसी फ़्रेंच voices, साथ ही voice_3150, voice_478 और voice_3132 जैसी कई क्रमांकित voices शामिल हैं। प्रदाता के अनुसार, मॉडल zero-shot voice cloning का भी समर्थन करता है और text के भीतर emotion और pace tags स्वीकार करता है, जिससे आप अंतर्निहित script बदले बिना delivery को नियंत्रित कर सकते हैं।

व्यावहारिक उपयोग इन विशेषताओं से सीधे निकलते हैं। emotion और pace tags तथा voices के एक विस्तृत सेट के साथ, मॉडल वीडियो और पाठ्यक्रमों के narration के लिए उपयुक्त है जहाँ delivery को शांत, उत्साहित या निराश पंक्तियों के बीच बदलने की आवश्यकता होती है। ब्रिटिश और फ़्रेंच voice सेट इसे प्रत्येक locale के लिए अलग मॉडल के बिना स्थानीयकृत सामग्री के लिए उपयोगी बनाते हैं। zero-shot voice cloning तब उपयोगी होता है जब आप कई क्लिप में एक सुसंगत ब्रांड या character voice चाहते हैं, और preset लाइब्रेरी उन मामलों को कवर करती है जहाँ आपको बस जल्दी से एक प्राकृतिक voice चाहिए। चूँकि आउटपुट केवल audio है, यह एक pipeline के अंतिम चरण के रूप में अच्छी तरह काम करता है: किसी text मॉडल से अपनी script उत्पन्न या संपादित करें, फिर speech के लिए अंतिम text यहाँ भेजें।

api14 के माध्यम से इसे कॉल करना gateway पर किसी भी अन्य मॉडल की तरह ही काम करता है, क्योंकि API OpenAI-संगत है। आप model id mistralai/voxtral-mini-tts-3-0 के साथ speech endpoint पर एक अनुरोध भेजते हैं, अपना text input के रूप में पास करते हैं, और ऊपर दी गई सूची से एक voice चुनते हैं। ध्यान दें कि मॉडल अपने स्वयं के कोई समर्थित parameters की रिपोर्ट नहीं करता, इसलिए आपको यह अपेक्षा नहीं करनी चाहिए कि gateway temperature या top_p जैसे मनमाने tuning options अग्रेषित करेगा; voice चयन, text और आपके द्वारा एम्बेड किए गए कोई भी emotion या pace tags ही वह तरीका हैं जिनसे आप परिणाम नियंत्रित करते हैं। अनुरोधों को 4096 token context और 3276 token आउटपुट सीमा के भीतर रखें।

यदि आपका कार्य text को बोलने के बजाय उत्पन्न या फिर से लिखना है, तो एक text मॉडल अधिक उपयुक्त है, क्योंकि Voxtral TTS 3 केवल text स्वीकार करता है और केवल speech लौटाता है। यह transcription मॉडल भी नहीं है, इसलिए audio इनपुट इसके दायरे से बाहर है। लंबे दस्तावेज़ों के लिए आपको script को उन chunks में विभाजित करना होगा जो context सीमा का पालन करें और परिणामी audio को जोड़ना होगा।