NVIDIA: Nemotron 3.5 Lightning

NVIDIA: Nemotron 3.5 Lightning ist ein offenes Mixture-of-Experts-Textmodell von NVIDIA. Es hat 3B aktive Parameter bei insgesamt 30B, ein Design, das pro Token nur einen Teil des Netzwerks aktiv hält. Der Anbieter hat es am 2026-08-11 veröffentlicht. Es gehört zur Textkategorie, ist also für Spracharbeit und nicht für Bild- oder Audioeingabe ausgelegt.

Das Modell akzeptiert Text und gibt Text zurück. Sein Kontextfenster beträgt 262.144 Token, und die maximale Ausgabe liegt bei 235.929 Token, sodass sowohl lange Eingaben als auch lange Generierungen innerhalb dieser Grenzen möglich sind. Da es ein Mixture-of-Experts-Modell mit einer kleinen Anzahl aktiver Parameter ist, positioniert NVIDIA es für agentische Workloads mit hohem Durchsatz und spezialisierte Aufgaben. Es unterstützt außerdem Reasoning-Ausgabe, die Sie über die Parameter reasoning und include_reasoning steuern können.

Diese Fähigkeiten deuten auf einige praktische Einsatzmöglichkeiten hin. Langer Kontext plus große Ausgabe machen es passend für die Verarbeitung umfangreicher Dokumente wie Verträge, Logs oder Forschungsmaterial und für die Erstellung detaillierter Zusammenfassungen oder Extraktionen. Die Unterstützung von Tool Calling macht es geeignet für Agent-Schleifen, in denen das Modell entscheidet, welche Funktion aufgerufen wird, und Ergebnisse zurück in die Konversation einspeist. Structured Outputs und response_format helfen, wenn Sie JSON oder eine andere schema-konforme Form für nachgelagerten Code benötigen. Die Reasoning-Steuerungen lassen Sie intermediäres Reasoning aktivieren oder inspizieren, wenn eine Aufgabe es erfordert, und es abschalten, wenn Latenz oder Ausgabegröße wichtiger sind.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "nvidia/nemotron-3.5-lightning" auf. Die unterstützten Anfrageparameter sind frequency_penalty, include_reasoning, logit_bias, logprobs, max_tokens, min_p, presence_penalty, reasoning, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs und top_p. Das Sampling kann mit temperature, top_p, top_k und min_p abgestimmt werden, während seed, stop und die Penalty-Parameter Reproduzierbarkeit und Kontrolle über Wiederholungen bieten. Die Tool-Nutzung wird mit tools und tool_choice konfiguriert, die Ausgabeform mit response_format und structured_outputs.

Beachten Sie die Grenzen bei der Auswahl. Die Eingabe ist nur Text, alles mit Bildern oder Audio benötigt also ein anderes Modell. Das Kontextfenster und die maximale Ausgabe sind groß, aber endlich, und Anfragen darüber hinaus passen nicht. Wenn Ihr Workload kein Tool Calling, keine strukturierte Ausgabe und kein Reasoning benötigt, kann ein einfacheres Textmodell ausreichen.