NVIDIA: Nemotron 3.5 Lightning

NVIDIA: Nemotron 3.5 Lightning is een open mixture-of-experts tekstmodel van NVIDIA. Het heeft 3B actieve parameters van de 30B in totaal, een ontwerp waarbij slechts een deel van het netwerk actief blijft per token. De provider heeft het uitgebracht op 2026-08-11. Het valt in de categorie tekst, dus het is gebouwd voor taalwerk en niet voor beeld- of audio-invoer.

Het model accepteert tekst en retourneert tekst. Het contextvenster is 262.144 tokens, en de maximale uitvoer is 235.929 tokens, dus lange invoer en lange generaties zijn beide mogelijk binnen die grenzen. Omdat het een mixture-of-experts model is met een klein aantal actieve parameters, positioneert NVIDIA het voor agentische workloads met hoge doorvoer en gespecialiseerde taken. Het ondersteunt ook reasoning-uitvoer, die je kunt beheren via de parameters reasoning en include_reasoning.

Die mogelijkheden wijzen op een paar praktische toepassingen. Lange context plus grote uitvoer maken het geschikt voor het verwerken van lange documenten, contracten, logs of onderzoeksmateriaal, en het produceren van gedetailleerde samenvattingen of extracties. Ondersteuning voor tool calling maakt het geschikt voor agent-lussen waarbij het model beslist welke functie moet worden aangeroepen en de resultaten terugvoert in het gesprek. Gestructureerde uitvoer en response_format helpen wanneer je JSON of een andere schema-conforme vorm nodig hebt voor downstreamcode. De reasoning-besturing stelt je in staat om tussentijdse redeneringen in te schakelen of te inspecteren wanneer een taak dat vereist, en ze uit te schakelen wanneer latentie of uitvoergrootte belangrijker is.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "nvidia/nemotron-3.5-lightning". De ondersteunde aanvraagparameters zijn frequency_penalty, include_reasoning, logit_bias, logprobs, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs en top_p. Sampling kan worden afgestemd met temperature, top_p, top_k en min_p, terwijl seed, stop en de penalty-parameters je reproduceerbaarheid en controle over herhaling geven. Toolgebruik wordt geconfigureerd met tools en tool_choice, en de vorm van de uitvoer met response_format en structured_outputs.

Houd de beperkingen in gedachten bij het kiezen. Invoer is alleen tekst, dus alles met beeld of audio heeft een ander model nodig. Het contextvenster en de maximale uitvoer zijn groot maar eindig, en aanvragen die daarbuiten vallen passen niet. Als je workload geen tool calling, gestructureerde uitvoer of reasoning nodig heeft, is een eenvoudiger tekstmodel wellicht voldoende.