NVIDIA: Switchyard

NVIDIA: Switchyard ist ein Open-Source-Modellrouter von NVIDIA. Es ist im üblichen Sinne kein einzelnes Modell, sondern eine Routing-Schicht, die zwischen mehreren Modellen umschaltet, und sein angegebener Zweck ist die Optimierung der Kosten von Anfragen. Standardmäßig verwendet es Marktdaten, um die beliebteste Option unter den ihm verfügbaren Modellen auszuwählen. Es gehört zur Textkategorie und wird auf api14 durch die Modell-ID nvidia/switchyard identifiziert.

Als Router nimmt Switchyard Text entgegen und gibt Text zurück. Es akzeptiert ausschließlich Texteingabe und erzeugt ausschließlich Textausgabe, es gibt also keine Bild-, Audio- oder Dateiverarbeitung, die eingeplant werden müsste. Sein Kontextfenster umfasst 1.000.000 Token, was groß genug ist, um sehr lange Dokumente, ausgedehnte Gesprächsverläufe oder umfangreiche Codebasen in einer einzigen Anfrage aufzunehmen. Die Anbieterbeschreibung gibt keine maximale Ausgabelänge an, und für dieses Modell sind keine unterstützten Anfrageparameter aufgeführt.

Der praktische Nutzen von Switchyard ergibt sich aus dem, was es ist: ein kostenbewusster Verteiler. Wenn Sie eine Arbeitslast betreiben, bei der viele Anfragen nicht Ihr teuerstes Modell benötigen, können Sie sie durch Switchyard leiten, damit der Router anhand von Marktdaten unter Modellen auswählt, statt dass Sie pro Anfrage eine Wahl fest codieren. Das Kontextfenster von einer Million Token macht es zudem geeignet für Aufgaben mit langen Eingaben, etwa das Zusammenfassen umfangreicher Berichte, die Suche über große Dokumentensammlungen oder die Aufrechterhaltung lang laufender Chat-Sitzungen, bei denen Sie die Kürzung lieber nicht selbst verwalten möchten. Da die Ausgabe reiner Text ist, passt es zu standardmäßigen Generierungs-, Extraktions- und Frage-Antwort-Abläufen.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID nvidia/switchyard auf. Richten Sie Ihren vorhandenen OpenAI-Client auf die Basis-URL von api14 und übergeben Sie diese ID im Feld model einer Chat-Completion-Anfrage. Für dieses Modell sind keine unterstützten Parameter aufgeführt, gehen Sie daher davon aus, dass es die grundlegende Anfrageform (model plus messages) akzeptiert, und vermuten Sie nicht, dass optionale Einstellungen wie temperature, top_p oder max tokens berücksichtigt werden. Wenn ein bestimmter Parameter wirksam werden soll, prüfen Sie dies am Live-Verhalten, bevor Sie sich in der Produktion darauf verlassen.

Ein Punkt, den man abwägen sollte, ist, dass Switchyard ein Router und kein festes Modell ist. Das zugrunde liegende Modell, das eine bestimmte Anfrage bearbeitet, kann variieren, was bedeutet, dass sich Ausgabestil, Latenz und Qualität zwischen Aufrufen auf eine Weise unterscheiden können, die Sie allein anhand der Modell-ID nicht vollständig vorhersagen können. Wenn Sie deterministisches, reproduzierbares Verhalten von einem bekannten Modell benötigen, ist eine direkte Modell-ID wahrscheinlich besser geeignet. Switchyard ist am nützlichsten, wenn die Kostenoptimierung über eine gemischte Arbeitslast wichtiger ist als die Festlegung jeder Anfrage auf ein einziges Modell.