हम cookies इस्तेमाल करते हैं. Cookies और ब्राउज़र स्टोरेज आपको साइन इन रखते हैं और आपकी प्राथमिकताएं याद रखते हैं। आपकी अनुमति से हम यह भी मापते हैं कि साइट कैसे इस्तेमाल होती है। आप कभी भी । हमारी cookie नीति देखें।
Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instructMeta: Llama 3.1 70B Instruct अभी आज़माएं
ऊपर दी गई कीमतों पर आपके बैलेंस से चलता है। नए अकाउंट मुफ्त उपयोग से शुरू होते हैं।
एक API. हर मॉडल.
सेशन लागत $0.00
सेटिंग्स
उन्नत पैरामीटर
Meta: Llama 3.1 70B Instruct एक नज़र में
- इनपुट कीमत 434 टेक्स्ट मॉडल के मीडियन से 11% कम है।
- 1,31,072 tokens की context window, लंबे दस्तावेज़ों और कई चरणों वाली बातचीत के लिए काफी।
- agents और integrations के लिए tool (function) calling सपोर्ट करता है।
- schema के साथ structured JSON output सपोर्ट करता है।
- एक सामान्य request (1,000 इनपुट / 500 आउटपुट tokens) की लागत लगभग $0.00210 है।
Meta: Llama 3.1 70B Instruct के बारे में
मेटा: Llama 3.1 70B Instruct, मेटा का एक टेक्स्ट जनरेशन मॉडल है, जो Llama 3.1 परिवार का हिस्सा है और 23 जुलाई 2024 को लॉन्च हुआ था। यह 70 बिलियन पैरामीटर वाला संस्करण है, जिसे इंस्ट्रक्शन फॉलोइंग के लिए ट्यून किया गया है, यानी यह केवल कच्चे टेक्स्ट को जारी रखने के बजाय प्रॉम्प्ट का जवाब देने और संवाद करने के लिए डिज़ाइन किया गया है। मेटा इस instruct वेरिएंट को उच्च गुणवत्ता वाले संवाद उपयोग मामलों के लिए अनुकूलित बताता है, और आकार के मामले में यह Llama 3.1 रेंज के बीच में आता है।
मॉडल इनपुट के रूप में टेक्स्ट लेता है और आउटपुट के रूप में टेक्स्ट देता है, इसलिए यह एक शुद्ध भाषा मॉडल है जिसमें इमेज, ऑडियो या वीडियो को संभालने की क्षमता नहीं है। इसका कॉन्टेक्स्ट विंडो 131,072 टोकन है, जो इतना बड़ा है कि एक ही अनुरोध में लंबे दस्तावेज़, विस्तारित बातचीत या बड़ी कोड फ़ाइलें रख सकता है। अधिकतम आउटपुट लंबाई 16,384 टोकन है, इसलिए जवाब काफी बड़े हो सकते हैं लेकिन इनपुट सीमा से काफी नीचे सीमित हैं। इसका नॉलेज कटऑफ 31 दिसंबर 2023 है, यानी उस तारीख के बाद की कोई भी चीज़ उस ज्ञान से बाहर है जो उसने प्रशिक्षण के दौरान सीखा।
ये विशेषताएँ व्यावहारिक उपयोगों का काफी स्पष्ट समूह दर्शाती हैं। लंबा कॉन्टेक्स्ट लंबे दस्तावेज़ों पर सारांशीकरण और प्रश्न उत्तर, अनुबंध समीक्षा, शोध संश्लेषण और मल्टी टर्न चैट के लिए उपयुक्त है, जहाँ बातचीत के शुरुआती हिस्सों को दृश्य में बनाए रखना जरूरी होता है। इंस्ट्रक्शन ट्यूनिंग इसे सहायक, ड्राफ्टिंग, पुनर्लेखन, वर्गीकरण और निष्कर्षण कार्यों के लिए उचित बनाती है। चूँकि मॉडल टूल कॉलिंग और संरचित आउटपुट का समर्थन करता है, इसका उपयोग ऐसी पाइपलाइनों में भी किया जा सकता है जहाँ मॉडल को केवल मुक्त टेक्स्ट बनाने के बजाय परिभाषित आकार में डेटा लौटाना होता है या बाहरी फ़ंक्शन को कॉल करना होता है।
आप इसे api14 के OpenAI-संगत API के माध्यम से मॉडल आईडी meta-llama/llama-3.1-70b-instruct का उपयोग करके कॉल करते हैं। चूँकि इंटरफ़ेस OpenAI स्कीमा का पालन करता है, आप एक मौजूदा OpenAI क्लाइंट को api14 के बेस URL पर इंगित कर सकते हैं और model फ़ील्ड में वह आईडी पास कर सकते हैं। यह जिन अनुरोध पैरामीटर का समर्थन करता है वे हैं frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k और top_p। इसमें सामान्य सैंपलिंग नियंत्रण, seed के माध्यम से नियतात्मक आउटपुट, स्टॉप अनुक्रम, और टूल कॉलिंग तथा संरचित आउटपुट दोनों मोड शामिल हैं।
निर्णय लेते समय कुछ सीमाएँ ध्यान में रखने योग्य हैं। आउटपुट 16,384 टोकन तक सीमित है, भले ही कॉन्टेक्स्ट विंडो बहुत बड़ा हो, इसलिए जिन कार्यों में बहुत लंबे एकल जवाब चाहिए होते हैं उन्हें विभाजन या किसी भिन्न मॉडल की आवश्यकता हो सकती है। 31 दिसंबर 2023 का नॉलेज कटऑफ का अर्थ है कि हाल की घटनाएँ कवर नहीं हैं जब तक आप उन्हें प्रॉम्प्ट में न दें। और चूँकि इनपुट और आउटपुट केवल टेक्स्ट हैं, छवियों या ऑडियो से जुड़ी कोई भी चीज़ इस मॉडल की क्षमता से बाहर है।
Meta: Llama 3.1 70B Instruct API कैसे कॉल करें
- अपने dashboard में API key बनाएं।
- अपनी भाषा के लिए आधिकारिक openai SDK इंस्टॉल करें।
- baseURL को https://api14.com/api/v1 और model को "meta-llama/llama-3.1-70b-instruct" पर सेट करें।
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "meta-llama/llama-3.1-70b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
समर्थित parameters
frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_pस्पेसिफिकेशन
- Context लंबाई
- 1,31,072
- अधिकतम आउटपुट
- 16,384
- इनपुट
- text
- आउटपुट
- text
- Knowledge cutoff
- 2023-12-31
api14 पर requests · पिछले 7 दिन
Meta: Llama 3.1 70B Instruct: अक्सर पूछे जाने वाले सवाल
- Meta: Llama 3.1 70B Instruct API की कीमत कितनी है?
- Meta: Llama 3.1 70B Instruct की कीमत इनपुट $1.40 / 1M tokens है। शुल्क आपके USD बैलेंस से सिर्फ सफल requests के लिए कटता है; फेल हुई requests मुफ्त हैं।
- Meta: Llama 3.1 70B Instruct की context window कितनी है?
- Meta: Llama 3.1 70B Instruct हर request में 1,31,072 tokens तक पढ़ता है, prompt, इतिहास और दस्तावेज़ मिलाकर। यह हर जवाब में 16,384 आउटपुट tokens तक लिखता है।
- Meta: Llama 3.1 70B Instruct क्या कर सकता है?
- Meta: Llama 3.1 70B Instruct text स्वीकार करता है और text लौटाता है। यह tool calling, structured JSON output सपोर्ट करता है।
- अपने कोड से Meta: Llama 3.1 70B Instruct कैसे कॉल करूं?
- किसी भी OpenAI SDK को https://api14.com/api/v1 पर पॉइंट करें और model को "meta-llama/llama-3.1-70b-instruct" पर सेट करें, कोड में और कोई बदलाव नहीं। इस पेज के कोड पैनल से तैयार उदाहरण कॉपी करें।
- Meta: Llama 3.1 70B Instruct के विकल्प क्या हैं?
- मिलती-जुलती कीमत वाले टेक्स्ट मॉडल: TheDrummer: Cydonia 24B V4.1, Mistral: Saba, TheDrummer: UnslopNemo 12B। सभी एक ही API key से चलते हैं, इसलिए बदलना बस एक string बदलना है।
Meta: Llama 3.1 70B Instruct कम्युनिटी
नया टॉपिकइस कम्युनिटी में अभी कोई टॉपिक नहीं है। Meta: Llama 3.1 70B Instruct के बारे में पहला टॉपिक खोलें।