NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning is een open mixture-of-experts model van NVIDIA. Het heeft 3B actieve parameters van de 30B in totaal, wat betekent dat slechts een fractie van het netwerk per token draait, terwijl het volledige model nog steeds een brede basis van aangeleerde kennis bevat. Het valt in de tekstcategorie, dus het is gebouwd voor taalwerk en niet voor afbeeldingen of audio. De tag "free" op api14 markeert deze variant als een die je kunt proberen zonder betaald abonnement.

Het model neemt tekst in en geeft tekst terug. Het contextvenster is 1.000.000 tokens, wat groot genoeg is om volledige codebases, lange documentsets of uitgebreide agenttranscripten in één verzoek te bevatten. De maximale uitvoer is 65.536 tokens, dus één aanroep kan een lang rapport, een grote refactor of een meerstappenplan produceren zonder het werk op te splitsen. Omdat het een mixture-of-experts ontwerp is met een klein aantal actieve parameters, is het gepositioneerd voor agentische workloads met hoge doorvoer en gespecialiseerde taken, waarbij veel aanroepen parallel plaatsvinden en de latentie per aanroep belangrijk is.

Die eigenschappen wijzen op een paar praktische patronen. Lang-context retrieval en samenvatting passen goed: je kunt een groot corpus doorgeven en in één keer om een synthese vragen. Agentlussen passen ook, aangezien het model tool calling ondersteunt en kan beslissen wanneer het een functie aanroept en hoe het het resultaat gebruikt. Batchclassificatie, extractie en routing over grote hoeveelheden tekst zijn ook logisch gezien de doorvoeroriëntatie. Prompts die zwaar op redeneren leunen worden ook ondersteund, dus taken die baat hebben bij een zichtbare chain of thought vóór het uiteindelijke antwoord kunnen in hetzelfde model worden afgehandeld.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id "nvidia/nemotron-3.5-lightning:free". Richt je bestaande OpenAI-client op de api14 base URL en geef dat id door in het model-veld. De verzoekparameters die het ondersteunt zijn include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools en top_p. Gebruik tools en tool_choice voor function calling, temperature en top_p om sampling vorm te geven, seed voor reproduceerbare runs, en max_tokens om de respons te begrenzen. De parameters reasoning en include_reasoning bepalen of reasoning-inhoud wordt opgevraagd en teruggegeven.

Een ding om af te wegen is het uitvoerplafond. Bij 65.536 tokens per respons moeten zeer grote single-shot generaties mogelijk over meerdere aanroepen worden opgesplitst, zelfs al is het invoervenster veel groter. Als je taak afhangt van andere modaliteiten dan tekst, zal dit model die niet dekken. En als je de sterkst mogelijke redeneerkwaliteit nodig hebt in plaats van doorvoer bij agentische en gespecialiseerde taken, is een groter model wellicht de betere keuze.