NVIDIA: Switchyard

NVIDIA: O Switchyard é um roteador de modelos de código aberto da NVIDIA. Em vez de ser um único modelo no sentido habitual, é uma camada de roteamento que alterna entre vários modelos, e seu propósito declarado é otimizar o custo das requisições. Por padrão, ele usa dados de mercado para selecionar a opção mais popular entre os modelos disponíveis para ele. Ele se enquadra na categoria de texto e é identificado na api14 pelo id de modelo nvidia/switchyard.

Como roteador, o Switchyard recebe texto e retorna texto. Ele aceita apenas entrada de texto e produz apenas saída de texto, portanto não há tratamento de imagem, áudio ou arquivo a considerar. Sua janela de contexto é de 1.000.000 de tokens, o que é suficiente para conter documentos muito longos, históricos de conversa extensos ou bases de código consideráveis em uma única requisição. A descrição do provedor não especifica um comprimento máximo de saída, e nenhum parâmetro de requisição suportado está listado para este modelo.

O caso prático do Switchyard decorre do que ele é: um despachante com consciência de custo. Se você executa uma carga de trabalho em que muitas requisições não precisam do seu modelo mais caro, encaminhá-las pelo Switchyard permite que o roteador escolha entre modelos com base em dados de mercado, em vez de você fixar uma escolha por requisição. A janela de contexto de um milhão de tokens também o torna viável para tarefas de entrada longa, como resumir relatórios extensos, pesquisar em grandes conjuntos de documentos ou manter sessões de chat de longa duração em que você prefere não gerenciar o truncamento por conta própria. Como a saída é texto simples, ele se encaixa em fluxos padrão de geração, extração e resposta a perguntas.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo nvidia/switchyard. Aponte seu cliente OpenAI existente para a URL base da api14 e passe esse id no campo model de uma requisição de chat completion. Nenhum parâmetro suportado está listado para este modelo, então trate-o como aceitando a forma básica de requisição (model mais messages) e evite presumir que ajustes opcionais como temperature, top_p ou max tokens serão respeitados. Se você precisar que um parâmetro específico tenha efeito, verifique-o contra o comportamento real antes de confiar nele em produção.

Um ponto a considerar é que o Switchyard é um roteador, não um modelo fixo. O modelo subjacente que atende uma determinada requisição pode variar, o que significa que estilo de saída, latência e qualidade podem diferir entre chamadas de maneiras que você não consegue prever totalmente apenas pelo id de modelo. Se você precisa de comportamento determinístico e reproduzível de um modelo conhecido, um id de modelo direto provavelmente é mais adequado. O Switchyard é mais útil quando a otimização de custo em uma carga de trabalho mista importa mais do que fixar cada requisição a um único modelo.