मेटा: Llama 3.1 70B Instruct, मेटा का एक टेक्स्ट मॉडल है, जो 2024-07-23 को जारी किया गया था। TheDrummer: UnslopNemo 12B, TheDrummer का एक टेक्स्ट मॉडल है, जो 2024-11-08 को जारी किया गया था। दोनों api14 के माध्यम से चैट कम्पलीशन मॉडल के रूप में उपलब्ध हैं, और दोनों टेक्स्ट इनपुट लेते हैं और टेक्स्ट आउटपुट देते हैं, इसलिए इनमें से कोई भी इमेज या ऑडियो को हैंडल नहीं करता। नामकरण से ही ज़्यादातर बातें एक नज़र में पता चल जाती हैं: एक बड़ी लैब से 70B का सामान्य प्रयोजन वाला इंस्ट्रक्शन ट्यून्ड मॉडल है, दूसरा एक 12B का कम्युनिटी फाइन ट्यून है जो आउटपुट की एक खास शैली पर केंद्रित है।
सबसे स्पष्ट तकनीकी अंतर कॉन्टेक्स्ट लंबाई का है। UnslopNemo 12B अधिकतम 1,024,000 टोकन स्वीकार करता है, जबकि Llama 3.1 70B Instruct अधिकतम 131,072 टोकन स्वीकार करता है। अगर आपका प्रॉम्प्ट या रिट्रीव्ड डॉक्युमेंट सेट बहुत बड़ा है, तो UnslopNemo वह है जो इसे बिना चंकिंग के फिट कर देगा। दूसरा महत्वपूर्ण अंतर टूलिंग का है। Llama 3.1 70B Instruct, tools और tool_choice को सपोर्ट करता है, इसलिए यह सीधे फंक्शन कॉलिंग और एजेंट शैली के लूप चला सकता है। UnslopNemo 12B उन पैरामीटर को सूचीबद्ध नहीं करता, इसलिए जब आपको मॉडल से ही स्ट्रक्चर्ड टूल कॉल निकलवाने की ज़रूरत हो, तब यह मॉडल उसके लिए नहीं है। कीमत पर दोनों लगभग समान हैं, इसलिए लागत यहाँ निर्णायक कारक नहीं है। दोनों structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed और stop को सपोर्ट करते हैं, इसलिए सैंपलिंग और आउटपुट शेपिंग दोनों तरफ एक ही तरह से काम करती है।
रोज़मर्रा के काम के लिए, इस आधार पर चुनें कि कार्य को वास्तव में क्या चाहिए। अगर आप एक एजेंट, ऐसा रिट्रीवल पाइपलाइन जिसे फंक्शन कॉल करने हों, या ऐसा कुछ भी बना रहे हैं जिसमें मॉडल को तय करना हो कि कौन सा टूल इनवोक करना है, तो Llama 3.1 70B Instruct स्वाभाविक विकल्प है क्योंकि दोनों में से केवल यही टूल सपोर्ट रखता है। अगर आप लंबे डॉक्युमेंट का सारांश बना रहे हैं, किसी बड़े कोडबेस या ट्रांसक्रिप्ट को एक ही रिक्वेस्ट में डाल रहे हैं, या रचनात्मक और संवादात्मक लेखन पर काम कर रहे हैं जहाँ आपको बहुत बड़ी विंडो वाला हल्का मॉडल चाहिए, तो UnslopNemo 12B बेहतर फिट है। साधारण इंस्ट्रक्शन फॉलोइंग, क्लासिफिकेशन, एक्सट्रैक्शन या रीराइटिंग के लिए, जहाँ इनपुट 131,072 टोकन में आराम से आ जाता है और कोई टूल शामिल नहीं है, दोनों में से कोई भी मॉडल काम कर देगा, और आप क्षमता के बजाय आउटपुट शैली के आधार पर चुन सकते हैं।
api14 के माध्यम से किसी भी मॉडल को कॉल करना एक ही तरह से काम करता है, क्योंकि API, OpenAI के अनुरूप है। आप अपने क्लाइंट को api14 बेस URL पर पॉइंट करते हैं, अपने messages ऐरे के साथ एक सामान्य चैट कम्पलीशन रिक्वेस्ट भेजते हैं, और model फील्ड सेट करते हैं। Llama 3.1 70B Instruct का उपयोग करने के लिए, model को meta-llama/llama-3.1-70b-instruct पर सेट करें। UnslopNemo 12B का उपयोग करने के लिए, model को thedrummer/unslopnemo-12b पर सेट करें। रिक्वेस्ट बॉडी में बाकी सब कुछ, जिसमें temperature, max_tokens, stop और structured_outputs शामिल हैं, वैसा ही रहता है। दोनों के बीच स्विच करना एक लाइन का बदलाव है, इसलिए आप दोनों को एक कॉन्फ़िग वैल्यू के पीछे रख सकते हैं और अपने इंटीग्रेशन को फिर से लिखे बिना प्रति रिक्वेस्ट रूट कर सकते हैं।
दूसरी दिशा में एक मामला उल्लेख करने योग्य है। भले ही UnslopNemo 12B की कॉन्टेक्स्ट विंडो बहुत बड़ी है, यह टूल को सपोर्ट नहीं करता, इसलिए अगर किसी लंबे कॉन्टेक्स्ट कार्य में फंक्शन कॉलिंग की भी ज़रूरत हो, तो छोटी विंडो के बावजूद Llama 3.1 70B Instruct ही सही चुनाव है। तब आपको टूल उपयोग छोड़ने के बजाय अपने इनपुट को 131,072 टोकन के भीतर रहने के लिए चंक करना होगा।