NVIDIA: Switchyard

NVIDIA: Switchyard هو موجه نماذج مفتوح المصدر من NVIDIA. بدلا من كونه نموذجا واحدا بالمعنى المعتاد، فهو طبقة توجيه تتنقل بين نماذج متعددة، وهدفه المعلن هو تحسين تكلفة الطلبات. يستخدم افتراضيا بيانات السوق لاختيار الخيار الأكثر شيوعا بين النماذج المتاحة له. يقع في فئة النصوص ويُعرَّف على api14 بمعرف النموذج nvidia/switchyard.

بصفته موجها، يستقبل Switchyard نصا ويعيد نصا. يقبل إدخال النص فقط وينتج إخراجا نصيا فقط، لذا لا توجد معالجة للصور أو الصوت أو الملفات يجب التخطيط لها. نافذة السياق الخاصة به هي 1,000,000 رمز، وهي كبيرة بما يكفي لاستيعاب مستندات طويلة جدا أو سجلات محادثات ممتدة أو قواعد برمجية كبيرة في طلب واحد. لا يحدد وصف المزود طولا أقصى للإخراج، ولا تُدرج أي معاملات طلب مدعومة لهذا النموذج.

الحالة العملية لـ Switchyard تنبع مما هو عليه: موزع يراعي التكلفة. إذا كنت تشغل عبئا حيث لا تحتاج طلبات كثيرة إلى نموذجك الأغلى، فإن تمريرها عبر Switchyard يتيح للموجه الاختيار بين النماذج بناء على بيانات السوق بدلا من أن تثبّت اختيارا لكل طلب بشكل صلب. كما أن نافذة السياق البالغة مليون رمز تجعله قابلا للاستخدام في المهام ذات المدخلات الطويلة مثل تلخيص تقارير مطولة، أو البحث عبر مجموعات مستندات كبيرة، أو الحفاظ على جلسات محادثة طويلة الأمد حيث تفضل ألا تدير الاقتطاع بنفسك. ولأن الإخراج نص عادي، فإنه يناسب تدفقات التوليد والاستخراج والإجابة على الأسئلة القياسية.

تستدعيه عبر واجهة API المتوافقة مع OpenAI في api14 باستخدام معرف النموذج nvidia/switchyard. وجّه عميل OpenAI الحالي لديك إلى عنوان api14 الأساسي ومرر ذلك المعرف في حقل model ضمن طلب إكمال محادثة. لا تُدرج أي معاملات مدعومة لهذا النموذج، لذا تعامل معه على أنه يقبل شكل الطلب الأساسي (model مع messages) وتجنب افتراض أن مقابض اختيارية مثل temperature أو top_p أو max tokens سيتم احترامها. إذا كنت تحتاج إلى تفعيل معامل معين، فتحقق من سلوكه الفعلي قبل الاعتماد عليه في بيئة الإنتاج.

أحد الأمور التي يجب وضعها في الحسبان هو أن Switchyard موجه، وليس نموذجا ثابتا. يمكن أن يختلف النموذج الأساسي الذي يعالج طلبا معينا، مما يعني أن أسلوب الإخراج وزمن الاستجابة والجودة قد تختلف بين الاستدعاءات بطرق لا يمكنك التنبؤ بها بالكامل من معرف النموذج وحده. إذا كنت تحتاج إلى سلوك حتمي وقابل لإعادة الإنتاج من نموذج واحد معروف، فمن المرجح أن يكون معرف النموذج المباشر خيارا أفضل. يكون Switchyard أكثر فائدة عندما تكون تحسين التكلفة عبر عبء عمل مختلط أهم من تثبيت كل طلب على نموذج واحد.