NVIDIA: Switchyard

NVIDIA: SwitchyardはNVIDIAによるオープンソースのモデルルーターです。通常の意味での単一モデルではなく、複数のモデル間を切り替えるルーティング層であり、その公表された目的はリクエストのコストを最適化することです。デフォルトでは市場データを使用して、利用可能なモデルの中から最も人気のある選択肢を選びます。テキストカテゴリに属し、api14上ではモデルID nvidia/switchyardで識別されます。

ルーターとして、Switchyardはテキストを受け取り、テキストを返します。テキスト入力のみを受け付け、テキスト出力のみを生成するため、画像、音声、ファイルの処理を考慮する必要はありません。コンテキストウィンドウは1,000,000トークンで、非常に長いドキュメント、拡張された会話履歴、または相当な規模のコードベースを単一のリクエストに収めるのに十分な大きさです。プロバイダーの説明では最大出力長は指定されておらず、このモデルでサポートされるリクエストパラメータも記載されていません。

Switchyardの実用的な意義は、その本質から導かれます。つまりコストを意識したディスパッチャーです。多くのリクエストが最も高価なモデルを必要としないワークロードを実行する場合、それらをSwitchyard経由でルーティングすれば、リクエストごとに選択をハードコードする代わりに、ルーターが市場データに基づいてモデルを選べます。100万トークンのコンテキストウィンドウは、長いレポートの要約、大規模なドキュメントセット全体の検索、切り詰めを自分で管理したくない長時間のチャットセッションの維持など、長い入力のタスクにも適しています。出力はプレーンテキストであるため、標準的な生成、抽出、質問応答のフローに適合します。

api14のOpenAI互換APIを通じて、モデルID nvidia/switchyardを使用して呼び出します。既存のOpenAIクライアントをapi14のベースURLに向け、チャット補完リクエストのmodelフィールドにそのIDを渡してください。このモデルにはサポートされるパラメータが記載されていないため、基本的なリクエスト形式（modelとmessages）を受け入れるものとして扱い、temperature、top_p、max tokensなどのオプションノブが尊重されると想定しないでください。特定のパラメータを有効にしたい場合は、本番環境で依存する前に実際の動作で確認してください。

考慮すべき点の1つは、Switchyardがルーターであり、固定されたモデルではないことです。特定のリクエストを処理する基盤モデルは変わり得るため、出力スタイル、レイテンシ、品質が呼び出しごとに異なり、モデルIDだけから完全に予測することはできません。1つの既知のモデルから決定論的で再現可能な動作が必要な場合は、直接モデルIDを指定する方が適している可能性があります。Switchyardは、すべてのリクエストを単一モデルに固定することよりも、混在したワークロード全体でのコスト最適化が重要な場合に最も役立ちます。