NVIDIA: Nemotron 3 Ultra

O NVIDIA Nemotron 3 Ultra é um modelo aberto de raciocínio e orquestração de fronteira da NVIDIA. É um modelo de mistura de especialistas com 55B parâmetros ativos de um total de 550B, construído sobre uma arquitetura híbrida Transformer-Mamba. O id do modelo em api14 é nvidia/nemotron-3-ultra-550b-a55b, e situa-se na categoria de texto, pelo que se destina a trabalho de linguagem e não a geração de imagem, áudio ou vídeo.

O modelo recebe texto como entrada e devolve texto como saída. Tem um comprimento de contexto de 262144 tokens, o que é suficiente para conter documentos longos, ficheiros de código grandes ou históricos de conversa extensos num único pedido, e uma saída máxima de 182520 tokens, pelo que são possíveis gerações longas sem dividir o trabalho por várias chamadas. O comportamento de raciocínio é exposto através dos parâmetros include_reasoning e reasoning, e reasoning_effort permite controlar quanta deliberação interna o modelo aplica antes de responder. A chamada de ferramentas é suportada através de tools e tool_choice, e structured_outputs mais response_format permitem restringir a forma do texto devolvido.

Estas capacidades apontam para alguns usos práticos. Contexto longo mais raciocínio adequa-se à análise de bases de código grandes, revisão de múltiplos documentos e tarefas de investigação em que o modelo tem de manter muitas fontes ao mesmo tempo e reconciliá-las. A chamada de ferramentas torna-o numa escolha razoável para fluxos de trabalho ao estilo de agentes e orquestração, em que o modelo decide que funções invocar e em que ordem. As saídas estruturadas são úteis quando o resultado tem de alimentar diretamente outro sistema, como extrair campos de contratos ou produzir resumos legíveis por máquina. O limite elevado de saída ajuda em tarefas que produzem artefactos longos, incluindo relatórios detalhados ou geração de código extensa.

Chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo nvidia/nemotron-3-ultra-550b-a55b. Os pedidos aceitam os parâmetros habituais de amostragem e controlo: temperature, top_p, top_k, min_p, frequency_penalty, presence_penalty e repetition_penalty para moldar a saída, max_tokens para o comprimento, seed para reprodutibilidade, stop para sequências de paragem, e logit_bias para ajustes ao nível do token. Para uso de ferramentas, passa tools e tool_choice. Para resultados estruturados, usa response_format e structured_outputs. O raciocínio é controlado com reasoning, reasoning_effort e include_reasoning. Como a interface é compatível com OpenAI, os clientes e SDKs existentes geralmente funcionam apenas com a alteração do URL base e do id do modelo.

Uma coisa a ter em conta é que o modelo é apenas de texto. Se a tua tarefa depende de imagens, áudio ou outras modalidades de entrada, este modelo não as tratará, e uma opção multimodal seria mais adequada. Os limites muito grandes de contexto e de saída também significam que os pedidos podem ser pesados, pelo que para prompts curtos e simples um modelo mais pequeno pode responder mais depressa e ser mais fácil de gerir. Dentro do trabalho de texto, no entanto, a combinação de contexto longo, controlos de raciocínio, chamada de ferramentas e saídas estruturadas cobre uma ampla gama de necessidades dos programadores.