NVIDIA: Nemotron 3.5 Lightning (free)

Nemotron 3.5 Lightning ist ein offenes Mixture-of-Experts-Modell von NVIDIA. Es hat 3B aktive Parameter bei insgesamt 30B, was bedeutet, dass pro Token nur ein Bruchteil des Netzwerks ausgeführt wird, während das vollständige Modell weiterhin eine breite Basis erlernten Wissens enthält. Es gehört zur Textkategorie und ist daher für Sprachaufgaben und nicht für Bilder oder Audio ausgelegt. Das Tag "free" auf api14 kennzeichnet diese Variante als eine, die ohne kostenpflichtigen Plan ausprobiert werden kann.

Das Modell nimmt Text entgegen und gibt Text zurück. Sein Kontextfenster beträgt 1.000.000 Token, was groß genug ist, um ganze Codebasen, lange Dokumentensätze oder ausgedehnte Agent-Transkripte in einer einzigen Anfrage aufzunehmen. Die maximale Ausgabe beträgt 65.536 Token, sodass ein einzelner Aufruf einen langen Bericht, ein großes Refactoring oder einen mehrstufigen Plan erzeugen kann, ohne die Arbeit aufzuteilen. Da es sich um ein Mixture-of-Experts-Design mit einer kleinen Anzahl aktiver Parameter handelt, ist es für agentische Workloads mit hohem Durchsatz und spezialisierte Aufgaben positioniert, bei denen viele Aufrufe parallel erfolgen und die Latenz pro Aufruf wichtig ist.

Diese Eigenschaften deuten auf einige praktische Muster hin. Langkontext-Retrieval und Zusammenfassung passen gut: Sie können ein großes Korpus übergeben und in einem Durchgang eine Synthese anfordern. Agent-Schleifen sind ein weiterer Anwendungsfall, da das Modell Tool-Aufrufe unterstützt und entscheiden kann, wann eine Funktion aufgerufen und wie das Ergebnis verwendet wird. Batch-Klassifizierung, Extraktion und Routing über große Textmengen sind angesichts der Ausrichtung auf Durchsatz ebenfalls sinnvoll. Auch reasoning-lastige Prompts werden unterstützt, sodass Aufgaben, die von einer sichtbaren Gedankenkette vor der endgültigen Antwort profitieren, im selben Modell behandelt werden können.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID "nvidia/nemotron-3.5-lightning:free" auf. Richten Sie Ihren vorhandenen OpenAI-Client auf die Basis-URL von api14 und übergeben Sie diese ID im Feld model. Die unterstützten Anfrageparameter sind include_reasoning, max_tokens, reasoning, seed, temperature, tool_choice, tools und top_p. Verwenden Sie tools und tool_choice für Funktionsaufrufe, temperature und top_p zur Steuerung des Samplings, seed für reproduzierbare Läufe und max_tokens zur Begrenzung der Antwort. Die Parameter reasoning und include_reasoning steuern, ob Reasoning-Inhalte angefordert und zurückgegeben werden.

Ein Punkt, den man abwägen sollte, ist die Obergrenze der Ausgabe. Bei 65.536 Token pro Antwort müssen sehr große Single-Shot-Generierungen möglicherweise über mehrere Aufrufe aufgeteilt werden, obwohl das Eingabefenster weit größer ist. Wenn Ihre Aufgabe von anderen Modalitäten als Text abhängt, wird dieses Modell sie nicht abdecken. Und wenn Sie die bestmögliche Reasoning-Qualität statt Durchsatz bei agentischen und spezialisierten Arbeiten benötigen, könnte ein größeres Modell die bessere Wahl sein.