Cohere: Command R+ (08-2024)

Command R+ (08-2024) هو نموذج توليد نصي من Cohere، أصدره المزود في 30 أغسطس 2024. وهو تحديث لنموذج Command R+ الأسبق، وتصفه Cohere بأنه يوفر إنتاجية أعلى بنحو 50 بالمئة وزمن استجابة أقل بنحو 25 بالمئة مقارنة بالإصدار السابق، مع الحفاظ على نفس البصمة العتادية. إذا كنت قد استخدمت Command R+ من قبل، فهذه هي نقطة التحقق الأحدث من نفس السلسلة وليست عائلة مختلفة من النماذج.

يعمل النموذج مع النص كمدخل والنص كمخرج. يقبل حتى 128,000 رمز من السياق، وهو ما يكفي لاستيعاب مستندات طويلة أو نصوص محادثات أو محادثات متعددة الأدوار في طلب واحد. المخرج محدود بـ 4,000 رمز لكل استجابة، لذا فهو مناسب للإجابات والملخصات والحمولات المهيكلة بدلا من المستندات المولدة الطويلة جدا. حد المعرفة الخاص به هو 31 مارس 2024، مما يعني أن أي شيء بعد ذلك التاريخ يجب أن يأتي من الطلب أو من الأدوات أو من الاسترجاع. تشمل المعاملات المدعومة temperature و top_p و top_k و frequency_penalty و presence_penalty و max_tokens و stop و seed و response_format، بالإضافة إلى tools و tool_choice و structured_outputs لاستدعاء الأدوات والتوليد المقيد.

تشير مجموعة الميزات هذه إلى بعض الأنماط العملية. التوليد المعزز بالاسترجاع مناسب بشكل طبيعي: السياق الطويل يتيح لك لصق المقاطع المسترجعة بجانب السؤال. استدعاء الأدوات والمخرجات المهيكلة يجعلانه قابلا للاستخدام كخطوة الاستدلال في وكيل، حيث يقرر النموذج أي دالة يستدعي ويعيد الوسائط في مخطط تحدده أنت. ولأن كلا من tools و response_format مدعومان، يمكنك بناء خطوط معالجة تمزج إجابات النص الحر مع JSON قابل للقراءة آليا. نافذة 128,000 رمز تساعد أيضا في تلخيص التقارير الطويلة، أو استخراج الحقول من العقود، أو الإجابة على الأسئلة عبر قاعدة شيفرة أو مجموعة توثيق في تمريرة واحدة.

عبر api14 تستدعيه بنقطة نهاية chat completions المتوافقة مع OpenAI ومع معرف النموذج "cohere/command-r-plus-08-2024". تستخدم الطلبات تنسيق messages المألوف، لذا تعمل عملاء OpenAI SDK الحاليون بعد توجيه عنوان URL الأساسي إلى api14 وتبديل اسم النموذج. يمكن لجسم الطلب أن يحمل أي من المعاملات المدعومة: temperature و top_p و top_k و frequency_penalty و presence_penalty و max_tokens و stop و seed و response_format و tools و tool_choice و structured_outputs. لاحظ أن max_tokens يحكم على الرد المولد ولا يمكن أن يتجاوز حد المخرج البالغ 4,000 رمز، حتى مع أن نافذة السياق أكبر بكثير.

هناك قيدان يستحقان التخطيط حولهما. حد المخرج البالغ 4,000 رمز يعني أن التوليد الطويل، مثل فصول كاملة أو ملفات شيفرة كبيرة في استجابة واحدة، قد يحتاج إلى تقسيم إلى أجزاء أو إلى نموذج بسقف مخرج أعلى. كما أن حد المعرفة في مارس 2024 يعني أن الأسئلة الحساسة زمنيا تعتمد على ما تقدمه في الطلب أو عبر الأدوات. إذا كان عبء عملك في الغالب صورا أو صوتا، فهذا النموذج ليس الخيار المناسب، لأنه يتعامل مع النص فقط. بالنسبة لمهام النص المباشرة ضمن هذه الحدود، فهو خيار افتراضي معقول.