NVIDIA: Nemotron 3 Ultra

NVIDIA Nemotron 3 Ultra는 NVIDIA의 개방형 프런티어 추론 및 오케스트레이션 모델입니다. 이는 전체 550B 중 활성 파라미터가 55B인 전문가 혼합 모델이며, 하이브리드 Transformer-Mamba 아키텍처를 기반으로 구축되었습니다. api14에서의 모델 id는 nvidia/nemotron-3-ultra-550b-a55b이며, 텍스트 카테고리에 속하므로 이미지, 오디오 또는 비디오 생성이 아닌 언어 작업을 대상으로 합니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환합니다. 컨텍스트 길이는 262144 토큰으로, 긴 문서, 대형 코드 파일 또는 확장된 대화 기록을 단일 요청에 담을 수 있을 만큼 충분하며, 최대 출력은 182520 토큰이므로 작업을 여러 호출로 나누지 않고도 긴 생성을 수행할 수 있습니다. 추론 동작은 include_reasoning 및 reasoning 파라미터를 통해 노출되며, reasoning_effort를 사용하면 모델이 답변 전에 적용하는 내부 숙고의 양을 제어할 수 있습니다. 도구 호출은 tools 및 tool_choice를 통해 지원되며, structured_outputs와 response_format을 사용하면 반환되는 텍스트의 형태를 제한할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 긴 컨텍스트와 추론은 대규모 코드베이스 분석, 다중 문서 검토, 그리고 모델이 여러 출처를 동시에 보유하고 이를 조정해야 하는 연구 작업에 적합합니다. 도구 호출은 모델이 어떤 함수를 어떤 순서로 호출할지 결정하는 에이전트 스타일 워크플로와 오케스트레이션에 합리적으로 어울립니다. 구조화된 출력은 결과가 다른 시스템으로 직접 입력되어야 할 때, 예를 들어 계약서에서 필드를 추출하거나 기계 판독 가능한 요약을 생성할 때 유용합니다. 큰 출력 상한은 상세 보고서나 확장된 코드 생성처럼 긴 산출물을 만들어내는 작업에 도움이 됩니다.

모델은 모델 id nvidia/nemotron-3-ultra-550b-a55b를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 요청은 일반적인 샘플링 및 제어 파라미터를 받습니다. 출력 형성을 위한 temperature, top_p, top_k, min_p, frequency_penalty, presence_penalty 및 repetition_penalty, 길이를 위한 max_tokens, 재현성을 위한 seed, 중지 시퀀스를 위한 stop, 토큰 수준 조정을 위한 logit_bias가 있습니다. 도구 사용에는 tools와 tool_choice를 전달합니다. 구조화된 결과에는 response_format과 structured_outputs를 사용합니다. 추론은 reasoning, reasoning_effort 및 include_reasoning으로 제어합니다. 인터페이스가 OpenAI 호환이므로 기존 클라이언트와 SDK는 일반적으로 base URL과 모델 id만 변경하면 작동합니다.

한 가지 유념할 점은 이 모델이 텍스트 전용이라는 것입니다. 작업이 이미지, 오디오 또는 기타 입력 양식에 의존한다면 이 모델은 이를 처리하지 못하며, 멀티모달 옵션이 더 적합합니다. 또한 매우 큰 컨텍스트와 출력 한도는 요청이 무거워질 수 있음을 의미하므로, 짧고 단순한 프롬프트에는 더 작은 모델이 더 빠르게 응답하고 관리하기 쉬울 수 있습니다. 다만 텍스트 작업 내에서는 긴 컨텍스트, 추론 제어, 도구 호출 및 구조화된 출력의 조합이 폭넓은 개발자 요구를 충족합니다.