NVIDIA: Switchyard

NVIDIA: Switchyard è un router di modelli open source di NVIDIA. Piuttosto che essere un singolo modello nel senso usuale, è un livello di routing che commuta tra più modelli, e il suo scopo dichiarato è ottimizzare il costo delle richieste. Per impostazione predefinita utilizza i dati di mercato per selezionare l'opzione più popolare tra i modelli disponibili. Rientra nella categoria testo ed è identificato su api14 con il model id nvidia/switchyard.

In quanto router, Switchyard riceve testo e restituisce testo. Accetta solo input testuale e produce solo output testuale, quindi non c'è gestione di immagini, audio o file da pianificare. La sua context window è di 1.000.000 di token, abbastanza ampia da contenere documenti molto lunghi, cronologie di conversazione estese o codebase di dimensioni considerevoli in una singola richiesta. La descrizione del provider non specifica una lunghezza massima di output, e per questo modello non è elencato alcun parametro di richiesta supportato.

Il caso pratico per Switchyard deriva da ciò che è: un dispatcher attento ai costi. Se esegui un carico di lavoro in cui molte richieste non necessitano del tuo modello più costoso, instradarle attraverso Switchyard consente al router di scegliere tra i modelli in base ai dati di mercato invece che a una scelta codificata da te per ogni richiesta. La context window da un milione di token lo rende inoltre utilizzabile per attività con input lunghi, come riassumere report prolungati, cercare all'interno di grandi insiemi di documenti o mantenere sessioni di chat di lunga durata in cui preferisci non gestire tu stesso il troncamento. Poiché l'output è testo semplice, si adatta ai flussi standard di generazione, estrazione e risposta a domande.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando il model id nvidia/switchyard. Punta il tuo client OpenAI esistente all'URL di base di api14 e passa quell'id nel campo model di una richiesta di chat completion. Per questo modello non è elencato alcun parametro supportato, quindi trattalo come se accettasse la forma di richiesta di base (model più messages) ed evita di presumere che opzioni come temperature, top_p o max tokens vengano rispettate. Se hai bisogno che un parametro specifico abbia effetto, verificalo rispetto al comportamento reale prima di affidarti ad esso in produzione.

Una cosa da valutare è che Switchyard è un router, non un modello fisso. Il modello sottostante che gestisce una determinata richiesta può variare, il che significa che stile di output, latenza e qualità possono differire tra le chiamate in modi che non puoi prevedere completamente dal solo model id. Se hai bisogno di un comportamento deterministico e riproducibile da un modello noto, un model id diretto è probabilmente più adatto. Switchyard è più utile quando l'ottimizzazione dei costi su un carico di lavoro misto conta più che vincolare ogni richiesta a un singolo modello.