NVIDIA: Nemotron 3.5 Rerank 8B (free)

NVIDIA: Nemotron 3.5 Rerank 8B (free) ist ein Reranking-Modell von NVIDIA, veröffentlicht unter der Modell-ID nvidia/nemotron-3.5-rerank-8b:free. Es gehört zur Kategorie Rerank, seine Aufgabe ist es also nicht, konversationellen Text zu generieren, sondern eine Menge von Kandidateneinträgen gegen eine Anfrage zu bewerten und neu zu ordnen. Das Veröffentlichungsdatum des Anbieters ist der 2026-10-21. Auf api14 wird es als kostenlose Variante angeboten, was es einfach macht, es gegen die eigenen Retrieval-Daten zu evaluieren, bevor man sich für den Produktionseinsatz entscheidet.

Das Modell akzeptiert Text- und Bildeingaben und erzeugt Rerank-Ausgaben. Es hat eine Kontextlänge von 32768 Tokens, und die maximale Ausgabe beträgt 29491. Da es sowohl Text als auch Bilder verarbeitet, kann es in Pipelines eingesetzt werden, in denen die zu ordnenden Einträge nicht rein textuell sind. Die Ausgabemodalität ist Rerank statt Text, man sollte also Relevanzbewertungen oder eine Reihenfolge erwarten statt Fließtext-Antworten.

Praktische Anwendungsfälle ergeben sich direkt aus dieser Form. Ein häufiger Fall ist das Retrieval in der zweiten Stufe: Man nimmt die besten Ergebnisse einer Vektor- oder Stichwortsuche und lässt dieses Modell sie neu bewerten, damit die relevantesten Einträge nach oben steigen. Dasselbe Muster gilt für retrieval augmented generation, wo eine bessere Reihenfolge der abgerufenen Passagen die Qualität des nachgelagerten Generatormodells verbessert. Da Bildeingaben unterstützt werden, kann es auch gemischte Medienkandidaten ordnen, zum Beispiel die Auswahl der relevantesten Bilder oder Dokumente mit Bildern für eine gegebene Anfrage. Es ist auch eine vernünftige Wahl für Deduplizierungs- oder Priorisierungsaufgaben, bei denen man einen Pool von Kandidaten hat und eine nachvollziehbare Reihenfolge benötigt.

Man ruft es über die OpenAI-kompatible API von api14 mit der Modell-ID nvidia/nemotron-3.5-rerank-8b:free auf. Da der Endpunkt dem OpenAI-Schema folgt, kann man einen vorhandenen OpenAI-Client auf die Basis-URL von api14 zeigen lassen und das Modellfeld ändern, was den Integrationsaufwand gering hält. Das Modell listet keine unterstützten Parameter, man sollte sich also nicht darauf verlassen, dass Tuning-Optionen wie temperature oder top_p akzeptiert werden; senden Sie Ihre Anfrage und die Kandidateneinträge in der Anfrage und lesen Sie die Rerank-Ausgabe. Wenn Sie das Reihenfolgeverhalten steuern müssen, tun Sie das auf Ihrer Seite durch die Art, wie Sie die Kandidaten konstruieren und bündeln.

Angesichts der leeren Liste unterstützter Parameter sollte dieses Modell eher als feste Funktion behandelt werden denn als etwas, das man mit Sampling-Einstellungen steuert. Wenn Ihre Aufgabe Textgenerierung, Zusammenfassung oder Chat ist, passt ein generatives Modell besser, da dieses nur Rerank-Ausgaben liefert. Der Kontext von 32768 Tokens und die maximale Ausgabe von 29491 begrenzen, wie viel Kandidatenmaterial Sie in einer Anfrage übermitteln können, bei sehr großen Kandidatenpools müssen Sie also bündeln. Es ist eine sinnvolle Wahl, wenn Sie einen kostenlosen, bildfähigen Reranker möchten und innerhalb dieser Einschränkungen arbeiten können.