NVIDIA: Nemotron 3.5 Lightning

NVIDIA: Nemotron 3.5 Lightning은 NVIDIA의 오픈 mixture-of-experts 텍스트 모델입니다. 전체 30B 중 활성 파라미터가 3B이며, 토큰마다 네트워크의 일부만 활성화하는 설계입니다. 제공업체는 2026-08-11에 이를 출시했습니다. 텍스트 카테고리에 속하므로 이미지나 오디오 입력이 아니라 언어 작업을 위해 만들어졌습니다.

이 모델은 텍스트를 받아 텍스트를 반환합니다. 컨텍스트 윈도우는 262,144 토큰이고 최대 출력은 235,929 토큰이므로, 그 범위 안에서 긴 입력과 긴 생성이 모두 가능합니다. 활성 파라미터 수가 작은 mixture-of-experts 모델이기 때문에 NVIDIA는 이를 높은 처리량의 에이전트 워크로드와 특화된 작업에 위치시킵니다. 또한 reasoning 출력을 지원하며, 이는 reasoning 및 include_reasoning 파라미터를 통해 제어할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도를 가리킵니다. 긴 컨텍스트와 큰 출력은 계약서, 로그, 연구 자료 같은 긴 문서를 처리하고 상세한 요약이나 추출을 생성하는 데 적합하게 합니다. 도구 호출 지원은 모델이 어떤 함수를 호출할지 결정하고 결과를 대화에 다시 넣는 에이전트 루프에 적합하게 합니다. 구조화된 출력과 response_format은 다운스트림 코드를 위해 JSON이나 다른 스키마 준수 형태가 필요할 때 도움이 됩니다. reasoning 제어를 사용하면 작업에 필요할 때 중간 추론을 활성화하거나 검사할 수 있고, 지연 시간이나 출력 크기가 더 중요할 때는 끌 수 있습니다.

모델 id "nvidia/nemotron-3.5-lightning"을 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 지원되는 요청 파라미터는 frequency_penalty, include_reasoning, logit_bias, logprobs, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs, top_p입니다. 샘플링은 temperature, top_p, top_k, min_p로 조정할 수 있으며, seed, stop 및 페널티 파라미터는 재현성과 반복 제어를 제공합니다. 도구 사용은 tools와 tool_choice로 구성하고, 출력 형태는 response_format과 structured_outputs로 구성합니다.

선택할 때 한계를 염두에 두십시오. 입력은 텍스트 전용이므로 이미지나 오디오와 관련된 것은 다른 모델이 필요합니다. 컨텍스트 윈도우와 최대 출력은 크지만 유한하며, 이를 넘는 요청은 들어가지 않습니다. 워크로드에 도구 호출, 구조화된 출력 또는 reasoning이 필요하지 않다면 더 단순한 텍스트 모델로 충분할 수 있습니다.