NVIDIA: Switchyard

NVIDIA: Switchyard adalah router model open-source dari NVIDIA. Alih-alih menjadi satu model dalam pengertian biasa, ini adalah lapisan routing yang beralih di antara beberapa model, dan tujuan yang dinyatakan adalah mengoptimalkan biaya permintaan. Secara default ia menggunakan data pasar untuk memilih opsi paling populer di antara model yang tersedia baginya. Ini berada dalam kategori teks dan diidentifikasi di api14 dengan model id nvidia/switchyard.

Sebagai router, Switchyard menerima teks masuk dan mengembalikan teks keluar. Ia hanya menerima input teks dan hanya menghasilkan output teks, jadi tidak ada penanganan gambar, audio atau file yang perlu direncanakan. Jendela konteksnya adalah 1.000.000 token, yang cukup besar untuk menampung dokumen sangat panjang, riwayat percakapan yang diperpanjang atau basis kode yang cukup besar dalam satu permintaan. Deskripsi penyedia tidak menentukan panjang output maksimum, dan tidak ada parameter permintaan yang didukung yang terdaftar untuk model ini.

Kasus praktis untuk Switchyard mengikuti apa adanya: dispatcher yang sadar biaya. Jika Anda menjalankan beban kerja di mana banyak permintaan tidak memerlukan model termahal Anda, merutekannya melalui Switchyard memungkinkan router memilih di antara model berdasarkan data pasar alih-alih Anda mengodekan pilihan secara hardcode per permintaan. Jendela konteks satu juta token juga membuatnya layak untuk tugas input panjang seperti merangkum laporan yang panjang, mencari di seluruh kumpulan dokumen besar, atau mempertahankan sesi obrolan yang berjalan lama di mana Anda lebih memilih untuk tidak mengelola pemotongan sendiri. Karena outputnya adalah teks biasa, ini cocok untuk alur generasi, ekstraksi dan tanya jawab standar.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id nvidia/switchyard. Arahkan klien OpenAI Anda yang ada ke base URL api14 dan berikan id tersebut di field model dari permintaan chat completion. Tidak ada parameter yang didukung yang terdaftar untuk model ini, jadi perlakukan ia sebagai menerima bentuk permintaan dasar (model plus messages) dan hindari mengasumsikan bahwa tombol opsional seperti temperature, top_p atau max tokens akan dihormati. Jika Anda memerlukan parameter tertentu agar berlaku, verifikasi terhadap perilaku langsung sebelum mengandalkannya di produksi.

Satu hal yang perlu dipertimbangkan adalah bahwa Switchyard adalah router, bukan model tetap. Model yang mendasari yang menangani permintaan tertentu dapat bervariasi, yang berarti gaya output, latensi dan kualitas dapat berbeda antar panggilan dengan cara yang tidak dapat sepenuhnya Anda prediksi hanya dari model id. Jika Anda memerlukan perilaku deterministik dan dapat direproduksi dari satu model yang diketahui, model id langsung kemungkinan lebih cocok. Switchyard paling berguna ketika optimasi biaya di seluruh beban kerja campuran lebih penting daripada menyematkan setiap permintaan ke satu model.