NVIDIA: Switchyard

NVIDIA: Switchyard is een open-source modelrouter van NVIDIA. Het is niet zozeer een enkel model in de gebruikelijke zin, maar een routeringslaag die tussen meerdere modellen schakelt, en het doel ervan is de kosten van verzoeken te optimaliseren. Standaard gebruikt het marktgegevens om de meest populaire optie te kiezen uit de modellen die het tot zijn beschikking heeft. Het valt in de categorie tekst en wordt op api14 geïdentificeerd met het model-id nvidia/switchyard.

Als router neemt Switchyard tekst aan en geeft tekst terug. Het accepteert alleen tekstinvoer en produceert alleen tekstuitvoer, dus er is geen beeld-, audio- of bestandsverwerking om rekening mee te houden. Het contextvenster is 1.000.000 tokens, wat groot genoeg is om zeer lange documenten, uitgebreide gespreksgeschiedenissen of omvangrijke codebases in één verzoek te bevatten. De providerbeschrijving specificeert geen maximale uitvoerlengte, en er worden geen ondersteunde verzoekparameters voor dit model vermeld.

Het praktische nut van Switchyard volgt uit wat het is: een kostenbewuste dispatcher. Als je een workload draait waarin veel verzoeken niet je duurste model nodig hebben, kun je ze via Switchyard routeren, zodat de router op basis van marktgegevens tussen modellen kiest in plaats van dat je per verzoek zelf een keuze hardcodeert. Het contextvenster van een miljoen tokens maakt het ook geschikt voor taken met lange invoer, zoals het samenvatten van lange rapporten, het doorzoeken van grote documentverzamelingen of het onderhouden van langdurige chatsessies waarin je liever niet zelf truncatie beheert. Omdat de uitvoer platte tekst is, past het bij standaard generatie-, extractie- en vraag-en-antwoordstromen.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id nvidia/switchyard. Richt je bestaande OpenAI-client op de basis-URL van api14 en geef dat id door in het veld model van een chat completion-verzoek. Er worden geen ondersteunde parameters voor dit model vermeld, dus ga ervan uit dat het de basisvorm van een verzoek accepteert (model plus messages) en vermijd de aanname dat optionele instellingen zoals temperature, top_p of max tokens worden gerespecteerd. Als je wilt dat een specifieke parameter effect heeft, verifieer dit dan tegen het werkelijke gedrag voordat je er in productie op vertrouwt.

Iets om mee te wegen is dat Switchyard een router is, geen vast model. Het onderliggende model dat een bepaald verzoek afhandelt kan variëren, wat betekent dat uitvoerstijl, latentie en kwaliteit tussen aanroepen kunnen verschillen op manieren die je niet volledig kunt voorspellen op basis van alleen het model-id. Als je deterministisch, reproduceerbaar gedrag van één bekend model nodig hebt, is een direct model-id waarschijnlijk beter geschikt. Switchyard is het nuttigst wanneer kostenoptimalisatie over een gemengde workload belangrijker is dan elk verzoek vastpinnen op één model.