NVIDIA: Parakeet TDT 0.6B v3

إنفيديا: Parakeet TDT 0.6B v3 هو نموذج تحويل الكلام إلى نص من إنفيديا. إنه نموذج بـ 600 مليون معامل مبني على معمارية FastConformer-TDT، وقد تم تدريبه على مجموعة بيانات Granary، التي تحتوي على أكثر من 670,000 ساعة من الصوت. يُطرح النموذج كنظام نسخ متعدد اللغات، وهو يدعم الكشف التلقائي عن اللغة عبر اللغات التي يغطيها. إذا كنت تعمل بالفعل داخل منظومة إنفيديا، أو كنت تحتاج ببساطة إلى نموذج نسخ مدمج ومركز، فهذا هو نوع النموذج الذي ستقيّمه بناء على قوة معماريةه وبيانات تدريبه بدلا من قدرته على الاستدلال العام.

النموذج أحادي الغرض. واجهة الإدخال الوحيدة لديه هي الصوت، وواجهة الإخراج الوحيدة لديه هي النص المنسوخ. لا يقبل مطالبات نصية بالمعنى المعتاد في المحادثة، ولا يولّد ردودا حوارية. ولأنه نموذج نسخ مخصص وليس نموذجا لغويا عام الغرض، فلا توجد نافذة سياق مقاسة بالوحدات الرمزية ولا حد أقصى لطول الإخراج بالطريقة التي يذكرها نموذج محادثة؛ فالحدود ذات الصلة تتعلق بطول الصوت وتنسيقه بدلا من حجم المطالبة. لا توجد معاملات طلب مدعومة مدرجة لهذا النموذج على api14، لذا ينبغي أن تتوقع إرسال طلب نسخ مباشر دون خيارات ضبط.

تتبع حالات الاستخدام هذا التصميم مباشرة. فهو يناسب النسخ المجمع أو عند الطلب للصوت المسجل، مثل تسجيلات الاجتماعات أو المقابلات أو الملاحظات الصوتية أو تسجيلات المكالمات. ولأنه يجري الكشف التلقائي عن اللغة عبر لغات متعددة، فيمكن أن يكون خيارا معقولا عندما لا تعرف لغة الصوت مسبقا ولا تريد توجيه كل ملف يدويا. كما يناسب خطوط المعالجة التي تحتاج إلى خطوة مدمجة ومخصصة لتحويل الكلام إلى نص بدلا من نموذج عام كبير يؤدي النسخ كأثر جانبي لمطالبة أوسع.

تستدعيه عبر واجهة api14 المتوافقة مع OpenAI باستخدام معرّف النموذج "nvidia/parakeet-tdt-0.6b-v3". وجّه عميل OpenAI الحالي لديك إلى عنوان api14 الأساسي، وأرسل الصوت الخاص بك كمدخل، واقرأ النص المنسوخ من الاستجابة. وبما أنه لا توجد معاملات طلب مدرجة كمدعومة لهذا النموذج، فاجعل طلبك بسيطا ولا تعتمد على تأثير temperature أو top_p أو max_tokens أو ضوابط أخذ العينات المماثلة. تعامل معه كنقطة نهاية للنسخ تشترك في شكل طلب OpenAI.

هناك حد عملي واحد يجب أن تضعه في الاعتبار وهو أن هذا النموذج يقوم بالنسخ فقط. إذا كانت مهمتك تتطلب تلخيص النص المنسوخ، أو الإجابة عن أسئلة بشأنه، أو ترجمته إلى لغة أخرى، أو أي توليد نصي آخر، فستحتاج إلى نموذج نصي منفصل لتلك الخطوة، أو إلى نموذج مختلف يتعامل مع إدخال الصوت والإخراج التوليدي معا. وبالمثل، إذا كنت تحتاج إلى سلوك فك ترميز قابل للضبط أو تحكم دقيق في الإخراج، فتحقق من قائمة المعاملات الحية قبل البناء على أساسها، لأنه لا توجد أي منها مدرجة هنا. أما بالنسبة لتحويل الكلام إلى نص بشكل مباشر مع الكشف عن اللغة، فهو مناسب تماما.