NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning は NVIDIA のオープンな mixture-of-experts モデルです。総パラメータ 30B のうち 3B がアクティブパラメータであり、これはトークンごとにネットワークの一部だけが動作する一方で、モデル全体は学習した幅広い知識の基盤を保持していることを意味します。テキストカテゴリに属するため、画像や音声ではなく言語処理向けに作られています。api14 の「free」タグは、このバリアントが有料プランなしで試せるものであることを示しています。

このモデルはテキストを入力として受け取り、テキストを出力します。コンテキストウィンドウは 1,000,000 トークンで、コードベース全体、長い文書セット、或者は拡張されたエージェントのトランスクリプトを 1 回のリクエストに収められるほど十分な大きさです。最大出力は 65,536 トークンなので、1 回の呼び出しで長いレポート、大規模なリファクタリング、多段階の計画を作業を分割せずに生成できます。アクティブパラメータ数が小さい mixture-of-experts 設計であるため、多数の呼び出しが並列で発生し呼び出しごとのレイテンシが重要となる高スループットのエージェント的ワークロードや特殊タスクに向けて位置付けられています。

これらの特徴は、いくつかの実用的なパターンを示します。長いコンテキストの検索と要約はよく適合します。大規模なコーパスを渡し、1 回で統合を求めることができます。エージェントループも適合します。このモデルはツール呼び出しをサポートし、いつ関数を呼び出すか、その結果をどう使うかを判断できるためです。大量のテキストに対するバッチ分類、抽出、ルーティングも、スループット重視の設計を考えれば理にかなっています。推論を多用するプロンプトもサポートされるため、最終回答の前に可視的な思考の連鎖が役立つタスクも同じモデルで扱えます。

api14 の OpenAI 互換 API を通じて、モデル id「nvidia/nemotron-3.5-lightning:free」を使って呼び出します。既存の OpenAI クライアントを api14 のベース URL に向け、その id を model フィールドに渡してください。サポートされるリクエストパラメータは include_reasoning、max_tokens、reasoning、seed、temperature、tool_choice、tools、top_p です。関数呼び出しには tools と tool_choice を使い、サンプリングを調整するには temperature と top_p を使い、再現可能な実行には seed を使い、応答を制限するには max_tokens を使います。reasoning と include_reasoning パラメータは、推論コンテンツを要求するか、返すかを制御します。

考慮すべき点の 1 つは出力の上限です。応答あたり 65,536 トークンなので、入力ウィンドウがはるかに大きくても、非常に大きな単発生成は呼び出しを分割する必要があるかもしれません。タスクがテキスト以外のモダリティに依存する場合、このモデルでは対応できません。また、エージェント的および特殊な作業でのスループットよりも、可能な限り最高の推論品質が必要な場合は、より大きなモデルの方が適した選択肢になるかもしれません。