Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct ist ein Textgenerierungsmodell von Nous Research, das auf der Llama 3.1 70B Basis aufbaut. Es ist die dritte Generation der Hermes-Reihe, und Nous beschreibt es als generalistisches Sprachmodell mit Verbesserungen gegenüber Hermes 2, darunter fortgeschrittene agentische Fähigkeiten, besseres Rollenspiel, Reasoning, Multi-Turn-Konversation und Kohärenz über lange Kontexte. Das Modell wurde vom Anbieter am 18. August 2024 veröffentlicht, und sein Wissensstand endet am 31. Dezember 2023.

Das Modell akzeptiert Texteingaben und gibt Textausgaben zurück, es ist also ein reines Sprachmodell ohne Bild- oder Audioverarbeitung. Sein Kontextfenster beträgt 131.072 Token, was groß genug ist, um lange Dokumente, ausgedehnte Gespräche oder umfangreiche Codedateien in einer einzigen Anfrage aufzunehmen. Die maximale Ausgabe beträgt 16.384 Token, Antworten können also lang sein, bleiben aber deutlich unter der Eingabekontextgröße. Da der Kontext lang ist und das Modell auf Kohärenz über diesen hinweg abgestimmt wurde, kann es für Aufgaben verwendet werden, bei denen frühere Teile eines Gesprächs oder Dokuments viele Turns später noch relevant bleiben müssen.

Diese Fähigkeiten deuten auf einige praktische Einsatzmöglichkeiten hin. Agentische Workflows sind eine ausgewiesene Stärke, daher passen Tool-Aufrufe und mehrstufige Aufgabenorchestrierung gut dazu. Die Verbesserungen bei Rollenspiel und Multi-Turn-Konversation eignen sich für Chat-Assistenten, charakterbasierte Anwendungen und interaktive Erlebnisse, die eine konsistente Persona und Erinnerung über eine lange Sitzung hinweg benötigen. Reasoning und Kohärenz über lange Kontexte machen es nutzbar für Dokumentenfragen und -antworten, Zusammenfassungen von umfangreichem Material und Code-Unterstützung, bei der eine ganze Datei oder ein Repository-Abschnitt auf einmal berücksichtigt werden muss. Strukturierte Ausgaben werden ebenfalls unterstützt, was hilft, wenn das Modell Daten in einer festen Form für die nachgelagerte Verarbeitung zurückgeben muss.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "nousresearch/hermes-3-llama-3.1-70b" auf. Da der Endpunkt dem OpenAI-Chat-Completions-Format folgt, funktionieren bestehende OpenAI-SDKs und Clients mit nur einer Änderung von Basis-URL und Schlüssel. Die unterstützten Anfrageparameter sind frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k und top_p. Der Parameter seed ermöglicht reproduzierbares Sampling, und structured_outputs beschränkt die Generierung auf ein definiertes Schema. Beachten Sie, dass min_p, repetition_penalty und top_k nicht Teil des standardmäßigen OpenAI-Parametersatzes sind, prüfen Sie also, ob Ihr Client sie durchreicht, statt unbekannte Felder zu verwerfen.

Die wichtigsten Einschränkungen, die Sie beachten sollten, sind die rein textbasierte Ein- und Ausgabe, die Obergrenze von 16.384 Token für die Ausgabe und der Wissensstand vom 31. Dezember 2023, sodass alles nach diesem Datum außerhalb der Trainingsdaten des Modells liegt. Wenn Ihre Aufgabe von Bild- oder Audioeingaben abhängt, passt dieses Modell nicht, und Sie bräuchten stattdessen ein multimodales Modell. Für Arbeiten, die innerhalb von Text und den genannten Kontext- und Ausgabegrenzen liegen, ist Hermes 3 70B Instruct über das api14-Gateway eine unkomplizierte Wahl.