NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning은 NVIDIA의 오픈 mixture-of-experts 모델입니다. 전체 30B 중 활성 파라미터가 3B이며, 이는 토큰당 네트워크의 일부만 실행되지만 전체 모델은 여전히 학습된 지식의 넓은 기반을 유지한다는 뜻입니다. 텍스트 카테고리에 속하므로 이미지나 오디오가 아닌 언어 작업을 위해 만들어졌습니다. api14의 "free" 태그는 이 변형이 유료 플랜 없이 시도해 볼 수 있는 모델임을 나타냅니다.

이 모델은 텍스트를 입력받아 텍스트를 반환합니다. 컨텍스트 윈도우는 1,000,000 토큰으로, 단일 요청에 전체 코드베이스, 긴 문서 세트 또는 확장된 에이전트 트랜스크립트를 담을 수 있을 만큼 큽니다. 최대 출력은 65,536 토큰이므로, 단일 호출로 작업을 나누지 않고 긴 보고서, 대규모 리팩터링 또는 다단계 계획을 생성할 수 있습니다. 활성 파라미터 수가 작은 mixture-of-experts 설계이기 때문에, 많은 호출이 병렬로 발생하고 호출당 지연 시간이 중요한 고처리량 에이전트 워크로드와 특화된 작업에 적합하도록 자리매김되어 있습니다.

이러한 특성은 몇 가지 실용적인 패턴을 가리킵니다. 긴 컨텍스트 검색과 요약이 잘 맞습니다. 큰 코퍼스를 전달하고 한 번에 종합을 요청할 수 있습니다. 에이전트 루프도 잘 맞는데, 이 모델은 도구 호출을 지원하고 언제 함수를 호출할지, 결과를 어떻게 사용할지 결정할 수 있기 때문입니다. 대량의 텍스트에 대한 배치 분류, 추출, 라우팅도 처리량 지향성을 고려하면 합리적입니다. 추론이 많은 프롬프트도 지원되므로, 최종 답변 전에 눈에 보이는 사고 연쇄가 도움이 되는 작업을 같은 모델에서 처리할 수 있습니다.

모델 id "nvidia/nemotron-3.5-lightning:free"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 기존 OpenAI 클라이언트를 api14 base URL로 지정하고 model 필드에 해당 id를 전달하세요. 지원하는 요청 파라미터는 include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools, top_p입니다. 함수 호출에는 tools와 tool_choice를 사용하고, 샘플링을 조정하려면 temperature와 top_p를, 재현 가능한 실행에는 seed를, 응답을 제한하려면 max_tokens를 사용하세요. reasoning과 include_reasoning 파라미터는 추론 콘텐츠를 요청하고 반환할지 여부를 제어합니다.

고려해야 할 한 가지는 출력 상한입니다. 응답당 65,536 토큰이므로, 입력 윈도우가 훨씬 더 크더라도 매우 큰 단일 샷 생성은 호출을 나눠야 할 수 있습니다. 작업이 텍스트 이외의 모달리티에 의존한다면 이 모델은 이를 다루지 못합니다. 그리고 에이전트 및 특화 작업에서 처리량보다 가능한 가장 강력한 추론 품질이 필요하다면 더 큰 모델이 더 나은 선택일 수 있습니다.