Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0, Amazon का एक टेक्स्ट only मॉडल है, जो Nova मॉडल परिवार का हिस्सा है। Amazon ने इसे 5 दिसम्बर 2024 को जारी किया, और इसे उस परिवार में सबसे कम latency वाले विकल्प के रूप में रखा गया है। यह उन डेवलपर्स के लिए है जिन्हें multimodal input या output के बजाय तेज़ टेक्स्ट responses चाहिए, क्योंकि इसके input और output modalities दोनों टेक्स्ट हैं।

मॉडल टेक्स्ट prompts स्वीकार करता है और टेक्स्ट completions लौटाता है। इसका context window 128,000 tokens का है, जो लंबे दस्तावेज़ों, विस्तृत बातचीत या संदर्भ सामग्री के बड़े batches को एक ही request में रखने के लिए पर्याप्त है। इसका अधिकतम output 5,120 tokens है, इसलिए आप चाहे कितना भी input भेजें, responses उसी लंबाई तक सीमित रहते हैं। इसका knowledge cutoff 31 अक्टूबर 2024 है, यानी उस तारीख के बाद की कोई भी चीज़ मॉडल ने training के दौरान जो सीखा, उससे बाहर है। किसी भी दिशा में image, audio या video का समर्थन नहीं है।

चूँकि यह टेक्स्ट only है और कम latency के लिए tuned है, Nova Micro 1.0 उन कामों के लिए उपयुक्त है जहाँ गहरे reasoning से ज़्यादा गति मायने रखती है। सामान्य उपयोगों में chat assistants और customer support bots शामिल हैं जिन्हें तेज़ जवाब चाहिए, आने वाले टेक्स्ट का classification और routing, context window में फिट होने वाले लंबे दस्तावेज़ों का summarisation, unstructured टेक्स्ट से structured fields का extraction, और हल्का content generation। 128,000 token context और 5,120 token output की सीमा का संयोजन retrieval augmented generation के लिए भी उपयुक्त है, जहाँ आप retrieved passages को prompt में paste करते हैं और एक छोटा grounded उत्तर मांगते हैं। Tool calling उपलब्ध है, इसलिए यह agent style workflows में function calls चला सकता है जहाँ मॉडल तय करता है कि कौन सा tool invoke करना है।

आप मॉडल को api14 के OpenAI compatible API के ज़रिए model id "amazon/nova-micro-v1" का उपयोग करके call करते हैं। चूँकि interface OpenAI chat completions के स्वरूप का पालन करता है, आप एक मौजूदा OpenAI client को api14 के base URL पर point कर सकते हैं और model field बदल सकते हैं, आपके request में कोई अन्य structural बदलाव नहीं चाहिए। समर्थित request parameters हैं max_tokens, stop, temperature, tools, top_k और top_p। 5,120 token output सीमा के भीतर response की लंबाई सीमित करने के लिए max_tokens का उपयोग करें, चुनी गई sequence पर generation रोकने के लिए stop का, sampling randomness नियंत्रित करने के लिए temperature के साथ top_p या top_k का, और मॉडल जिन functions को call कर सकता है उन्हें declare करने के लिए tools का।

इस मॉडल को चुनते समय constraints पर ध्यान दें। यह केवल टेक्स्ट संभालता है, इसलिए images या audio वाले कामों के लिए अलग मॉडल चाहिए। 5,120 token output की सीमा बहुत लंबे एकल responses को असंभव बनाती है, और अक्टूबर 2024 का knowledge cutoff का मतलब है कि हाल की घटनाएँ शामिल नहीं हैं जब तक आप उन्हें prompt में न दें। अगर कोई काम भारी reasoning या multimodal input पर निर्भर है, तो catalogue में कोई अन्य मॉडल संभवतः बेहतर विकल्प होगा।