NVIDIA: Nemotron 3.5 Lightning

NVIDIA: Nemotron 3.5 Lightning adalah model teks open mixture-of-experts dari NVIDIA. Model ini memiliki 3B parameter aktif dari total 30B, sebuah desain yang hanya menjaga sebagian jaringan tetap aktif per token. Provider merilisnya pada 2026-08-11. Model ini berada di kategori teks, jadi model ini dibuat untuk pekerjaan bahasa bukan input gambar atau audio.

Model ini menerima teks dan mengembalikan teks. Jendela konteksnya adalah 262,144 token, dan output maksimumnya adalah 235,929 token, sehingga input panjang dan generasi panjang keduanya memungkinkan dalam batas tersebut. Karena ini adalah model mixture-of-experts dengan jumlah parameter aktif yang kecil, NVIDIA memposisikannya untuk beban kerja agentic throughput tinggi dan tugas khusus. Model ini juga mendukung output reasoning, yang dapat Anda kontrol melalui parameter reasoning dan include_reasoning.

Kemampuan tersebut mengarah ke beberapa penggunaan praktis. Konteks panjang ditambah output besar membuatnya cocok untuk memproses dokumen panjang, seperti kontrak, log atau materi riset, dan menghasilkan ringkasan atau ekstraksi yang detail. Dukungan tool calling membuatnya cocok untuk loop agen di mana model memutuskan fungsi mana yang akan dipanggil dan memasukkan hasilnya kembali ke percakapan. Structured outputs dan response_format membantu ketika Anda membutuhkan JSON atau bentuk lain yang sesuai skema untuk kode hilir. Kontrol reasoning memungkinkan Anda mengaktifkan atau memeriksa reasoning perantara ketika suatu tugas membutuhkannya, dan mematikannya ketika latensi atau ukuran output lebih penting.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "nvidia/nemotron-3.5-lightning". Parameter permintaan yang didukung adalah frequency_penalty, include_reasoning, logit_bias, logprobs, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs dan top_p. Sampling dapat disetel dengan temperature, top_p, top_k dan min_p, sementara seed, stop dan parameter penalti memberi Anda reproduktifitas dan kontrol atas pengulangan. Penggunaan tool dikonfigurasi dengan tools dan tool_choice, dan bentuk output dengan response_format dan structured_outputs.

Ingatlah batasannya saat memilihnya. Input hanya teks, jadi apa pun yang melibatkan gambar atau audio membutuhkan model yang berbeda. Jendela konteks dan output maksimumnya besar tetapi terbatas, dan permintaan di luar itu tidak akan muat. Jika beban kerja Anda tidak membutuhkan tool calling, structured output atau reasoning, model teks yang lebih sederhana mungkin sudah cukup.