NVIDIA: Nemotron 3 Nano 30B A3B

NVIDIA Nemotron 3 Nano 30B A3B는 NVIDIA가 자사의 Nemotron 제품군의 일부로 만든 소형 언어 모델입니다. 이름은 아키텍처를 반영합니다. 즉, 총 약 300억 개의 파라미터를 갖고 토큰당 약 30억 개가 활성화되는 mixture-of-experts 설계로, NVIDIA는 이를 높은 연산 효율성과 정확도를 제공한다고 설명합니다. 이 모델은 특화된 에이전트형 AI 시스템을 구축하는 개발자를 대상으로 한 텍스트 모델이며, 제공사가 2025년 12월 14일에 출시했습니다.

이 모델은 텍스트를 입력받아 텍스트를 출력합니다. 컨텍스트 윈도우는 262,144 토큰이고 최대 출력은 235,929 토큰이므로, 매우 긴 입력을 받아들이고 단일 요청에서 긴 완성을 생성할 수 있습니다. 단순 생성 외에도, 지원되는 파라미터들은 추론과 구조화된 출력이 일급 기능임을 시사합니다. reasoning과 include_reasoning이 모두 허용되며, response_format, structured_outputs, tools도 마찬가지입니다. 샘플링 및 디코딩 제어에는 temperature, top_p, top_k, repetition_penalty, frequency_penalty, presence_penalty, stop, seed, logit_bias가 포함되고, 토큰 수준 확률을 검사하기 위한 logprobs와 top_logprobs도 있습니다.

이러한 기능들은 몇 가지 실용적인 워크로드를 가리킵니다. 큰 컨텍스트 윈도우는 상당한 규모의 코드베이스나 보고서 모음에 대한 요약, 추출, 질의응답처럼 긴 문서 처리를 공격적인 청킹 없이 수행하는 데 적합합니다. 에이전트형 포지셔닝은 도구 호출 및 구조화된 출력과 결합되어, 모델이 어떤 도구를 호출할지 결정하고 기계가 읽을 수 있는 결과를 반환하는 파이프라인, 예를 들어 데이터 보강, 검색 오케스트레이션 또는 다단계 자동화에 맞습니다. 추론 제어는 분석, 계획 수립, 디버깅처럼 모델의 중간 사고를 최종 답변과 분리하고 싶은 작업에 유용합니다. 또한 작고 효율성에 초점을 둔 모델이므로, 최고 수준의 성능보다 처리량이 더 중요한 대량 텍스트 변환 작업에도 적합합니다.

모델 id "nvidia/nemotron-3-nano-30b-a3b"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 엔드포인트가 OpenAI 스키마를 따르므로 표준 chat completions 방식 요청이 작동하며, 요청 본문에 위에 나열된 파라미터를 모두 전달할 수 있습니다. 여기에는 함수 호출을 위한 tools와 tool_choice, 구조화된 응답을 위한 response_format, 출력 길이를 제한하기 위한 max_tokens가 포함됩니다. 스트리밍 및 로깅 옵션은 게이트웨이의 다른 모델과 동일하게 동작합니다.

이 모델은 텍스트 전용입니다. 이미지나 오디오 입력을 받지 않으므로 멀티모달 작업에는 다른 모델이 필요하며, 제공사 설명은 이 모델을 범용 플래그십이라기보다 특화된 에이전트형 시스템에 위치시킵니다. 워크로드에 비전, 다른 입력 양식 또는 더 큰 모델의 폭넓은 지식이 필요하다면 대안을 고려하세요. 긴 컨텍스트, 추론 중심 또는 도구 기반 텍스트 파이프라인이라면, 262,144 토큰 윈도우, 도구 지원, 효율적인 MoE 아키텍처의 조합이 이 모델을 선택할 이유입니다.