Llama 3.1 70B Instruct vs Qwen2.5 72B Instruct: API कीमत, context और फीचर

हम cookies इस्तेमाल करते हैं. Cookies और ब्राउज़र स्टोरेज आपको साइन इन रखते हैं और आपकी प्राथमिकताएं याद रखते हैं। आपकी अनुमति से हम यह भी मापते हैं कि साइट कैसे इस्तेमाल होती है। आप कभी भी । हमारी cookie नीति देखें।

यहां नए हैं? देखें यह कैसे काम करता है प्लेग्राउंड, मॉडल और आपकी API key का 1 मिनट का टूर।

Meta: Llama 3.1 70B Instruct बनाम Qwen2.5 72B Instruct

api14 कैटलॉग की मौजूदा USD कीमतों और क्षमताओं के आधार पर Meta: Llama 3.1 70B Instruct ($2.52 / 1M टोकन (≈ ₹238.23)) और Qwen2.5 72B Instruct ($1.26 / 1M टोकन (≈ ₹119.12)) की आमने-सामने तुलना। दोनों एक ही OpenAI-compatible API से चलते हैं।

स्पेसिफिकेशन

	Meta: Llama 3.1 70B Instruct	Qwen2.5 72B Instruct
प्रोवाइडर	Meta	Qwen
इनपुट	$2.52 / 1M टोकन (≈ ₹238.23)	$1.26 / 1M टोकन (≈ ₹119.12)
आउटपुट	$2.52 / 1M टोकन (≈ ₹238.23)	$1.40 / 1M टोकन (≈ ₹132.35)
संदर्भ विंडो	1,31,072	32,768
अधिकतम आउटपुट	8,192	16,384
इनपुट	text	text
आउटपुट	text	text
टूल कॉलिंग
संरचित आउटपुट
Reasoning नियंत्रण
जोड़ा गया	23 जुल॰ 2024	19 सित॰ 2024

मुख्य अंतर

Qwen2.5 72B Instruct इनपुट tokens पर 50% सस्ता है।
Qwen2.5 72B Instruct आउटपुट tokens पर 44% सस्ता है।
Meta: Llama 3.1 70B Instruct 4.0× ज़्यादा context पढ़ता है (1,31,072 tokens)।
सिर्फ Qwen2.5 72B Instruct टूल कॉलिंग सपोर्ट करता है।
सिर्फ Qwen2.5 72B Instruct संरचित JSON आउटपुट सपोर्ट करता है।
1,000 इनपुट और 500 आउटपुट tokens वाली request की लागत Meta: Llama 3.1 70B Instruct के साथ $0.00378 और Qwen2.5 72B Instruct के साथ $0.00196 है।

विस्तार से

मेटा: Llama 3.1 70B Instruct मेटा का एक टेक्स्ट मॉडल है, जो 2024-07-23 को जारी किया गया था। Qwen2.5 72B Instruct Qwen का एक टेक्स्ट मॉडल है, जो 2024-09-19 को जारी किया गया था। दोनों लगभग एक ही वजन वर्ग में आते हैं, लगभग सत्तर अरब पैरामीटर, और दोनों चैट और सामान्य सहायक कार्य के लिए इंस्ट्रक्शन ट्यून किए गए हैं। दोनों में से कोई भी छोटा मॉडल नहीं है, इसलिए दोनों उन डेवलपर्स के लिए लक्षित हैं जो सस्ते उच्च मात्रा वाले वर्कहॉर्स के बजाय मजबूत सामान्य भाषा व्यवहार चाहते हैं।

सबसे स्पष्ट अंतर कॉन्टेक्स्ट है। Llama 3.1 70B Instruct अधिकतम 131072 टोकन स्वीकार करता है, जो Qwen2.5 72B Instruct की 32768 टोकन विंडो का चार गुना है। यदि आपके प्रॉम्प्ट में लंबे दस्तावेज़, बड़े कोडबेस, लंबे ट्रांसक्रिप्ट या कई रिट्रीव्ड चंक शामिल हैं, तो यह अंतर मायने रखता है और Llama ही वह है जिसमें इनपुट फिट होगा। मोडालिटी पर दोनों समान हैं: टेक्स्ट इन, टेक्स्ट आउट, किसी भी तरफ कोई इमेज या ऑडियो हैंडलिंग नहीं। उनकी समर्थित पैरामीटर सूचियाँ भी बिल्कुल मेल खाती हैं, इसलिए दोनों temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools और tool_choice प्रदान करते हैं। उस सूची में ऐसी कोई क्षमता नहीं है जो एक में हो और दूसरे में न हो, इसलिए चुनाव फीचर समर्थन पर निर्भर नहीं करता।

व्यावहारिक चयन के लिए, इनपुट आकार से शुरू करें। लंबा कॉन्टेक्स्ट रिट्रीवल, पूरी फ़ाइल समीक्षा, बहु दस्तावेज़ सारांश और ऐसा कुछ भी जहाँ आप अन्यथा आक्रामक रूप से चंकिंग करते, Llama 3.1 70B Instruct की ओर इशारा करते हैं, केवल इसलिए कि विंडो बड़ी है। छोटे, सुस्पष्ट कार्यों जैसे चैट टर्न, एकल फंक्शन कॉल, वर्गीकरण, एक या दो पैराग्राफ से निष्कर्षण, और एजेंट चरण जहाँ प्रत्येक अनुरोध छोटा है, के लिए Qwen2.5 72B Instruct एक उचित डिफ़ॉल्ट है, और इनपुट पर यह दोनों में सस्ता है। आउटपुट मूल्य निर्धारण दोनों के लिए लगभग समान है, इसलिए लागत का अंतर इनपुट पक्ष पर दिखता है। यदि आपका वर्कलोड ज्यादातर छोटे प्रॉम्प्ट का है, तो Qwen का यह इनपुट लाभ जुड़ता जाता है; यदि आपके प्रॉम्प्ट लंबे हैं, तो Llama की बड़ी विंडो आपको अनुरोधों को बिल्कुल भी विभाजित करने से बचा सकती है, जो प्रति टोकन दर से अधिक मायने रख सकता है।

api14 के माध्यम से किसी भी मॉडल को कॉल करना उसी तरह काम करता है, क्योंकि API OpenAI संगत है। आप अपने मौजूदा OpenAI क्लाइंट को api14 बेस URL पर इंगित करते हैं, अपनी कुंजी भेजते हैं, और model फ़ील्ड सेट करते हैं। Llama का उपयोग करने के लिए, model id को meta-llama/llama-3.1-70b-instruct पर सेट करें। Qwen का उपयोग करने के लिए, इसे qwen/qwen-2.5-72b-instruct पर सेट करें। अनुरोध बॉडी में बाकी सब कुछ, messages, temperature, max_tokens, tools, response_format और शेष, जैसा है वैसा ही रहता है। दोनों के बीच स्विच करना एक पंक्ति का बदलाव है, इसलिए आप दोनों को अपने स्वयं के प्रॉम्प्ट के विरुद्ध बेंचमार्क कर सकते हैं और अपने इंटीग्रेशन को फिर से लिखे बिना प्रति रूट या प्रति कार्य चुन सकते हैं।

एक मामला ऐसा है जहाँ Qwen2.5 72B Instruct अभी भी बेहतर विकल्प है, भले ही कॉन्टेक्स्ट तंग न हो: जब इनपुट पर लागत निर्णायक कारक हो और आपके प्रॉम्प्ट 32768 टोकन के भीतर आराम से फिट हो जाएँ। उस स्थिति में Llama की बड़ी विंडो आपको कुछ भी नहीं देती जिसका आप उपयोग करेंगे, और Qwen सस्ता इनपुट विकल्प है। इसके विपरीत, यदि आप कभी भी लंबे इनपुट की ओर बढ़ने की अपेक्षा करते हैं, तो Llama 3.1 70B Instruct आपको बाद में दूसरे माइग्रेशन के बिना हेडरूम देता है।

एक string से बदलें

दोनों मॉडल एक ही endpoint और request ढांचा इस्तेमाल करते हैं। model की वैल्यू "meta-llama/llama-3.1-70b-instruct" से "qwen/qwen-2.5-72b-instruct" करें, prompts, streaming और tools पहले की तरह काम करते रहेंगे।

Meta: Llama 3.1 70B Instruct विवरण और प्लेग्राउंड →Qwen2.5 72B Instruct विवरण और प्लेग्राउंड →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "qwen/qwen-2.5-72b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct बनाम Qwen2.5 72B Instruct

स्पेसिफिकेशन

मुख्य अंतर

विस्तार से

एक string से बदलें

और तुलनाएं