NVIDIA: Switchyard

NVIDIA : Switchyard est un routeur de modèles open source de NVIDIA. Plutôt qu'un modèle unique au sens habituel, il s'agit d'une couche de routage qui bascule entre plusieurs modèles, et son objectif déclaré est d'optimiser le coût des requêtes. Par défaut, il utilise les données de marché pour sélectionner l'option la plus populaire parmi les modèles disponibles. Il appartient à la catégorie texte et est identifié sur api14 par l'identifiant de modèle nvidia/switchyard.

En tant que routeur, Switchyard prend du texte en entrée et renvoie du texte en sortie. Il accepte uniquement une entrée texte et produit uniquement une sortie texte, il n'y a donc aucune gestion d'image, d'audio ou de fichier à prévoir. Sa fenêtre de contexte est de 1 000 000 de tokens, ce qui est suffisamment grand pour contenir de très longs documents, des historiques de conversation étendus ou des bases de code conséquentes dans une seule requête. La description du fournisseur ne précise pas de longueur maximale de sortie, et aucun paramètre de requête pris en charge n'est listé pour ce modèle.

L'intérêt pratique de Switchyard découle de ce qu'il est : un répartiteur sensible au coût. Si vous exécutez une charge de travail où de nombreuses requêtes n'ont pas besoin de votre modèle le plus coûteux, les acheminer via Switchyard permet au routeur de choisir parmi les modèles en fonction des données de marché au lieu que vous codiez en dur un choix par requête. La fenêtre de contexte d'un million de tokens le rend également viable pour des tâches à entrée longue telles que résumer de longs rapports, effectuer des recherches dans de grands ensembles de documents, ou maintenir des sessions de chat de longue durée où vous préférez ne pas gérer vous-même la troncature. Comme la sortie est du texte brut, il s'adapte aux flux standard de génération, d'extraction et de réponse aux questions.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle nvidia/switchyard. Pointez votre client OpenAI existant vers l'URL de base d'api14 et passez cet identifiant dans le champ model d'une requête de complétion de chat. Aucun paramètre pris en charge n'est listé pour ce modèle, considérez donc qu'il accepte la forme de requête de base (model plus messages) et évitez de supposer que des réglages optionnels tels que temperature, top_p ou max tokens seront honorés. Si vous avez besoin qu'un paramètre spécifique prenne effet, vérifiez-le par rapport au comportement réel avant de vous y fier en production.

Un point à peser est que Switchyard est un routeur, pas un modèle fixe. Le modèle sous-jacent qui traite une requête donnée peut varier, ce qui signifie que le style de sortie, la latence et la qualité peuvent différer entre les appels d'une manière que vous ne pouvez pas entièrement prédire à partir du seul identifiant de modèle. Si vous avez besoin d'un comportement déterministe et reproductible d'un modèle connu, un identifiant de modèle direct est probablement plus adapté. Switchyard est surtout utile lorsque l'optimisation des coûts sur une charge de travail mixte importe plus que l'épinglage de chaque requête à un seul modèle.