NVIDIA: Switchyard

NVIDIA: Switchyard, NVIDIA tarafından geliştirilen açık kaynaklı bir model yönlendiricisidir. Alışılmış anlamda tek bir model olmaktan ziyade, birden fazla model arasında geçiş yapan bir yönlendirme katmanıdır ve belirtilen amacı isteklerin maliyetini optimize etmektir. Varsayılan olarak, kullanabileceği modeller arasında en popüler seçeneği belirlemek için piyasa verilerini kullanır. Metin kategorisinde yer alır ve api14 üzerinde nvidia/switchyard model kimliğiyle tanımlanır.

Bir yönlendirici olarak Switchyard metin alır ve metin döndürür. Yalnızca metin girdisi kabul eder ve yalnızca metin çıktısı üretir, dolayısıyla planlamanız gereken bir görsel, ses veya dosya işleme yoktur. Bağlam penceresi 1.000.000 token'dır ve bu, çok uzun belgeleri, genişletilmiş konuşma geçmişlerini veya büyük kod tabanlarını tek bir istekte tutmak için yeterince büyüktür. Sağlayıcı açıklaması maksimum çıktı uzunluğunu belirtmemektedir ve bu model için listelenmiş desteklenen istek parametresi yoktur.

Switchyard için pratik gerekçe, ne olduğundan kaynaklanır: maliyet bilinçli bir dağıtıcı. Birçok isteğin en pahalı modelinize ihtiyaç duymadığı bir iş yükü çalıştırıyorsanız, bunları Switchyard üzerinden yönlendirmek, her istek için sabit bir seçim yapmanız yerine yönlendiricinin piyasa verilerine dayanarak modeller arasında seçim yapmasını sağlar. Bir milyon token'lık bağlam penceresi ayrıca, uzun raporları özetlemek, büyük belge kümelerinde arama yapmak veya kırpma işlemini kendiniz yönetmek istemediğiniz uzun süreli sohbet oturumlarını sürdürmek gibi uzun girdili görevler için de uygundur. Çıktı düz metin olduğundan standart üretim, çıkarım ve soru yanıtlama akışlarına uyar.

Bunu, nvidia/switchyard model kimliğini kullanarak api14'ün OpenAI uyumlu API'si üzerinden çağırırsınız. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin ve bir sohbet tamamlama isteğinin model alanında bu kimliği geçirin. Bu model için listelenmiş desteklenen parametre yoktur, dolayısıyla temel istek şeklini (model artı mesajlar) kabul ettiğini varsayın ve temperature, top_p veya max tokens gibi isteğe bağlı ayarların dikkate alınacağını varsaymaktan kaçının. Belirli bir parametrenin etkili olması gerekiyorsa, üretimde ona güvenmeden önce canlı davranışa karşı doğrulayın.

Tartmanız gereken bir nokta, Switchyard'ın sabit bir model değil bir yönlendirici olmasıdır. Belirli bir isteği işleyen temel model değişebilir, bu da çıktı stilinin, gecikmenin ve kalitenin çağrılar arasında yalnızca model kimliğinden tam olarak tahmin edemeyeceğiniz şekillerde farklılık gösterebileceği anlamına gelir. Bilinen tek bir modelden deterministik, yeniden üretilebilir davranışa ihtiyacınız varsa, doğrudan bir model kimliği muhtemelen daha uygun olacaktır. Switchyard en çok, her isteği tek bir modele sabitlemekten ziyade karma bir iş yükü genelinde maliyet optimizasyonu önemli olduğunda kullanışlıdır.