NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning adalah model mixture-of-experts terbuka dari NVIDIA. Model ini memiliki 3B parameter aktif dari total 30B, yang berarti hanya sebagian kecil dari jaringan yang berjalan per token sementara model penuh tetap menyimpan basis pengetahuan yang luas. Model ini berada di kategori teks, jadi dirancang untuk pekerjaan bahasa, bukan gambar atau audio. Tag "free" pada api14 menandai varian ini sebagai model yang dapat Anda coba tanpa paket berbayar.

Model ini menerima teks sebagai masukan dan mengembalikan teks sebagai keluaran. Jendela konteksnya adalah 1.000.000 token, cukup besar untuk menampung seluruh basis kode, kumpulan dokumen panjang, atau transkrip agen yang diperpanjang dalam satu permintaan. Keluaran maksimumnya adalah 65.536 token, sehingga satu panggilan dapat menghasilkan laporan panjang, refactor besar, atau rencana multi-langkah tanpa memecah pekerjaan. Karena ini adalah desain mixture-of-experts dengan jumlah parameter aktif yang kecil, model ini diposisikan untuk beban kerja agentic berthroughput tinggi dan tugas khusus, di mana banyak panggilan terjadi secara paralel dan latensi per panggilan menjadi penting.

Karakteristik tersebut mengarah ke beberapa pola praktis. Retrieval dan peringkasan konteks panjang cocok digunakan: Anda dapat memberikan korpus besar dan meminta sintesis dalam satu kali jalan. Loop agen juga cocok, karena model ini mendukung pemanggilan tool dan dapat memutuskan kapan harus memanggil fungsi dan bagaimana menggunakan hasilnya. Klasifikasi batch, ekstraksi, dan routing atas volume teks yang besar juga masuk akal mengingat orientasi throughput-nya. Prompt yang berat penalaran juga didukung, sehingga tugas yang membutuhkan rantai pemikiran yang terlihat sebelum jawaban akhir dapat ditangani oleh model yang sama.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "nvidia/nemotron-3.5-lightning:free". Arahkan klien OpenAI yang sudah Anda miliki ke base URL api14 dan masukkan id tersebut di field model. Parameter permintaan yang didukung adalah include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools, dan top_p. Gunakan tools dan tool_choice untuk pemanggilan fungsi, temperature dan top_p untuk membentuk sampling, seed untuk eksekusi yang dapat direproduksi, dan max_tokens untuk membatasi respons. Parameter reasoning dan include_reasoning mengontrol apakah konten penalaran diminta dan dikembalikan.

Satu hal yang perlu dipertimbangkan adalah batas keluaran. Pada 65.536 token per respons, generasi single-shot yang sangat besar mungkin perlu dipecah ke beberapa panggilan meskipun jendela inputnya jauh lebih besar. Jika tugas Anda bergantung pada modalitas selain teks, model ini tidak akan mencakupnya. Dan jika Anda membutuhkan kualitas penalaran sekuat mungkin alih-alih throughput untuk pekerjaan agentic dan khusus, model yang lebih besar mungkin menjadi pilihan yang lebih baik.