NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning, NVIDIA'dan gelen açık bir uzman karışımı modelidir. Toplam 30B parametrenin 3B'si aktif parametredir, bu da token başına ağın yalnızca bir kısmının çalıştığı, ancak tam modelin yine de öğrenilmiş bilginin geniş bir temelini barındırdığı anlamına gelir. Metin kategorisinde yer alır, yani görüntü veya ses yerine dil işleri için tasarlanmıştır. api14 üzerindeki "free" etiketi, bu varyantı ücretli bir plan olmadan deneyebileceğiniz bir sürüm olarak işaretler.

Model metin alır ve metin döndürür. Bağlam penceresi 1.000.000 tokendır; bu, tek bir istekte tüm kod tabanlarını, uzun belge kümelerini veya uzun ajan kayıtlarını tutabilecek kadar büyüktür. Maksimum çıktı 65.536 tokendır, yani tek bir çağrı işi bölmeden uzun bir rapor, büyük bir refaktör veya çok adımlı bir plan üretebilir. Küçük bir aktif parametre sayısına sahip uzman karışımı bir tasarım olduğu için, çok sayıda çağrının paralel gerçekleştiği ve çağrı başına gecikmenin önemli olduğu yüksek verimli ajan iş yükleri ve özelleşmiş görevler için konumlandırılmıştır.

Bu özellikler birkaç pratik kalıba işaret eder. Uzun bağlamlı getirme ve özetleme iyi uyar: büyük bir derlem geçip tek seferde bir sentez isteyebilirsiniz. Ajan döngüleri de uygundur, çünkü model araç çağırmayı destekler ve bir fonksiyonu ne zaman çağıracağına ve sonucu nasıl kullanacağına karar verebilir. Verim odaklı yapı göz önüne alındığında, büyük metin hacimleri üzerinde toplu sınıflandırma, çıkarım ve yönlendirme de mantıklıdır. Muhakeme ağırlıklı istemler de desteklenir, böylece nihai yanıttan önce görünür bir düşünce zincirinden faydalanan görevler aynı modelde ele alınabilir.

Modele api14'ün OpenAI uyumlu API'si üzerinden "nvidia/nemotron-3.5-lightning:free" model id'sini kullanarak çağrı yaparsınız. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin ve model alanında bu id'yi geçin. Desteklediği istek parametreleri include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools ve top_p'dir. Fonksiyon çağırma için tools ve tool_choice, örneklemeyi şekillendirmek için temperature ve top_p, tekrarlanabilir çalıştırmalar için seed ve yanıtı sınırlamak için max_tokens kullanın. reasoning ve include_reasoning parametreleri, muhakeme içeriğinin istenip istenmediğini ve döndürülüp döndürülmeyeceğini kontrol eder.

Tartmanız gereken bir nokta çıktı tavanıdır. Yanıt başına 65.536 tokenda, giriş penceresi çok daha büyük olsa bile çok büyük tek seferlik üretimlerin çağrılar arasında bölünmesi gerekebilir. Göreviniz metin dışındaki modalitelere bağlıysa, bu model bunu kapsamaz. Ajan ve özelleşmiş işlerde verim yerine mümkün olan en güçlü muhakeme kalitesine ihtiyacınız varsa, daha büyük bir model daha iyi bir seçim olabilir.