Llama 3.1 70B Instruct مقابل UnslopNemo 12B: سعر API والسياق والميزات

نستخدم ملفات تعريف الارتباط. تُبقيك ملفات تعريف الارتباط وتخزين المتصفح مسجّلًا للدخول وتتذكر تفضيلاتك. وبإذنك نقيس أيضًا كيفية استخدام الموقع. يمكنك في أي وقت. راجع سياسة ملفات تعريف الارتباط.

جديد هنا؟ اكتشف كيف يعمل جولة لمدة دقيقة واحدة في ساحة التجربة والنماذج ومفتاح API الخاص بك.

Meta: Llama 3.1 70B Instruct مقابل TheDrummer: UnslopNemo 12B

مقارنة جنبًا إلى جنب بين Meta: Llama 3.1 70B Instruct (‏2.52 US$ / مليون رمز (≈ ‏9.45 ر.س.‏)) وTheDrummer: UnslopNemo 12B (‏1.40 US$ / مليون رمز (≈ ‏5.25 ر.س.‏)) باستخدام الأسعار الحالية بالدولار والقدرات من كتالوج api14. يعمل كلاهما عبر API نفسها المتوافقة مع OpenAI.

المواصفات

	Meta: Llama 3.1 70B Instruct	TheDrummer: UnslopNemo 12B
المزوّد	Meta	TheDrummer
الإدخال	‏2.52 US$ / مليون رمز (≈ ‏9.45 ر.س.‏)	‏1.40 US$ / مليون رمز (≈ ‏5.25 ر.س.‏)
الإخراج	‏2.52 US$ / مليون رمز (≈ ‏9.45 ر.س.‏)	‏1.40 US$ / مليون رمز (≈ ‏5.25 ر.س.‏)
نافذة السياق	131,072	1,024,000
الحد الأقصى للإخراج	8,192	819,200
الإدخال	text	text
الإخراج	text	text
استدعاء الأدوات
المخرجات المنظّمة
التحكم في الاستدلال
تاريخ الإضافة	23‏/07‏/2024	08‏/11‏/2024

أبرز الفروق

TheDrummer: UnslopNemo 12B أرخص بنسبة 44% في رموز الإدخال.
TheDrummer: UnslopNemo 12B أرخص بنسبة 44% في رموز الإخراج.
يقرأ TheDrummer: UnslopNemo 12B سياقًا أكبر بمقدار 7.8× (1,024,000 رمز).
TheDrummer: UnslopNemo 12B وحده يدعم مخرجات JSON منظّمة.
يكلّف طلب يتضمن 1000 رمز إدخال و500 رمز إخراج ‏0.00378 US$ مع Meta: Llama 3.1 70B Instruct و‏0.00210 US$ مع TheDrummer: UnslopNemo 12B.

بالتفصيل

ميتا: Llama 3.1 70B Instruct هو نموذج نصي من ميتا، صدر في 2024-07-23. TheDrummer: UnslopNemo 12B هو نموذج نصي من TheDrummer، صدر في 2024-11-08. يتم تقديم كلا النموذجين عبر api14 كنماذج إكمال محادثة، وكلاهما يستقبل النص ويعيد النص، لذا لا يتعامل أي منهما مع الصور أو الصوت. تخبرك التسمية بمعظم ما تحتاج معرفته بنظرة سريعة: أحدهما نموذج عام للأوامر بحجم 70B من مختبر كبير، والآخر نموذج مجتمعي بحجم 12B مُعدَّل بدقة ومُوجَّه نحو أسلوب معين في المخرجات.

الفرق التقني الأوضح هو طول السياق. يقبل UnslopNemo 12B حتى 1,024,000 رمز، بينما يقبل Llama 3.1 70B Instruct حتى 131,072 رمز. إذا كان طلبك أو مجموعة المستندات المسترجعة كبيرًا جدًا، فإن UnslopNemo هو الذي سيستوعبه دون تقسيم. الفرق المهم الآخر هو الأدوات. يدعم Llama 3.1 70B Instruct الأدوات و tool_choice، لذا يمكنه تشغيل استدعاء الدوال وحلقات نمط الوكلاء مباشرة. لا يُدرج UnslopNemo 12B تلك المعاملات، لذا ليس النموذج الذي تلجأ إليه عندما تحتاج إلى أن يُصدر النموذج نفسه استدعاءات أدوات منظمة. من حيث السعر، النموذجان متقاربان تقريبًا، لذا التكلفة ليست العامل الحاسم هنا. يدعم كلاهما structured_outputs و temperature و top_p و top_k و repetition_penalty و presence_penalty و frequency_penalty و logit_bias و seed و stop، لذا يعمل أخذ العينات وتشكيل المخرجات بالطريقة نفسها على أي من الجانبين.

للعمل اليومي، اختر بناءً على ما تتطلبه المهمة فعليًا. إذا كنت تبني وكيلًا، أو خط أنابيب استرجاع يجب أن يستدعي الدوال، أو أي شيء يحتاج إلى أن يقرر النموذج أي أداة يستدعي، فإن Llama 3.1 70B Instruct هو الخيار الطبيعي لأنه الوحيد بين الاثنين الذي يدعم الأدوات. إذا كنت تقوم بتلخيص مستندات طويلة، أو حشو قاعدة شيفرة كبيرة أو نص مفرغ في طلب واحد، أو العمل على كتابة إبداعية وحوارية حيث تريد نموذجًا أخف بنافذة كبيرة جدًا، فإن UnslopNemo 12B هو الأنسب. بالنسبة لاتباع الأوامر البسيط، أو التصنيف، أو الاستخراج، أو إعادة الصياغة حيث يتسع المدخل بسهولة ضمن 131,072 رمز ولا توجد أدوات، سيؤدي أي من النموذجين المهمة، ويمكنك الاختيار بناءً على أسلوب المخرجات بدلًا من القدرات.

استدعاء أي من النموذجين عبر api14 يعمل بالطريقة نفسها، لأن الواجهة متوافقة مع OpenAI. توجّه عميلك إلى عنوان api14 الأساسي، وترسل طلب إكمال محادثة عادي مع مصفوفة messages الخاصة بك، وتضبط حقل model. لاستخدام Llama 3.1 70B Instruct، اضبط model على meta-llama/llama-3.1-70b-instruct. لاستخدام UnslopNemo 12B، اضبط model على thedrummer/unslopnemo-12b. يبقى كل شيء آخر في جسم الطلب، بما في ذلك temperature و max_tokens و stop و structured_outputs، كما هو. التبديل بين الاثنين تغيير من سطر واحد، لذا يمكنك إبقاء كليهما خلف قيمة إعدادات وتوجيه كل طلب دون إعادة كتابة التكامل الخاص بك.

هناك حالة واحدة تستحق الإشارة في الاتجاه المعاكس. على الرغم من أن UnslopNemo 12B لديه نافذة السياق الأكبر بكثير، إلا أنه لا يدعم الأدوات، لذا إذا كانت مهمة السياق الطويل تحتاج أيضًا إلى استدعاء الدوال، فإن Llama 3.1 70B Instruct لا يزال الخيار الصحيح رغم النافذة الأصغر. ستحتاج حينها إلى تقسيم مدخلك للبقاء ضمن 131,072 رمز بدلًا من التخلي عن استخدام الأدوات.

بدّل بتغيير سلسلة واحدة

يستخدم النموذجان نقطة النهاية نفسها وبنية الطلب نفسها. غيّر قيمة model من "meta-llama/llama-3.1-70b-instruct" إلى "thedrummer/unslopnemo-12b"، وتستمر الموجّهات والبث والأدوات في العمل.

تفاصيل Meta: Llama 3.1 70B Instruct وساحة التجربة →تفاصيل TheDrummer: UnslopNemo 12B وساحة التجربة →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "thedrummer/unslopnemo-12b",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct مقابل TheDrummer: UnslopNemo 12B

المواصفات

أبرز الفروق

بالتفصيل

بدّل بتغيير سلسلة واحدة

مقارنات أخرى