Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct ist ein Textgenerierungsmodell von Nous Research, veröffentlicht am 16. August 2024. Es ist ein generalistisches Sprachmodell, das als Upgrade gegenüber Hermes 2 entwickelt wurde, wobei der Anbieter Verbesserungen bei agentischen Fähigkeiten, Rollenspiel, Reasoning, mehrzügigen Konversationen und Kohärenz bei langem Kontext beschreibt. Die Modell-ID auf api14 ist nousresearch/hermes-3-llama-3.1-405b.

Das Modell akzeptiert Texteingaben und gibt Textausgaben zurück, eignet sich also für Standard-Workloads im Chat- und Completion-Stil. Es hat ein Kontextfenster von 131.072 Tokens und eine maximale Ausgabe von 16.384 Tokens, was bedeutet, dass Sie sehr lange Prompts, Dokumente oder Gesprächsverläufe senden können und trotzdem Platz für eine substanzielle Antwort bleibt. Der Wissensstand reicht bis zum 31. Dezember 2023, alles danach liegt außerhalb dessen, was es während des Trainings gelernt hat.

Aufgrund des langen Kontexts und der Betonung auf mehrzügigen Konversationen und agentischem Verhalten eignet sich das Modell für Aufgaben wie Fragebeantwortung zu langen Dokumenten, Zusammenfassen oder Extrahieren aus großen Eingaben, Aufrechterhaltung kohärenter Dialoge über viele Züge hinweg und den Aufbau von Werkzeug nutzenden oder mehrstufigen Agenten. Die Verbesserungen bei Rollenspiel und Reasoning machen es zudem zu einer vernünftigen Wahl für charaktergetriebenen Chat, strukturiertes Brainstorming und Aufgaben, bei denen das Modell über eine lange Sitzung hinweg einer Persona oder einem detaillierten Anweisungssatz folgen muss.

Sie rufen es über die OpenAI-kompatible API von api14 mit der Modell-ID nousresearch/hermes-3-llama-3.1-405b auf, was bedeutet, dass bestehende OpenAI-SDKs und Clients funktionieren, wenn nur die Basis-URL und der Schlüssel geändert werden. Die unterstützten Anforderungsparameter sind frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k und top_p. Das Vorhandensein von response_format und structured_outputs ist nützlich, wenn Sie JSON- oder schemaförmige Ausgaben statt Freitext benötigen, und seed hilft, wenn Sie reproduzierbarere Generierungen wünschen.

Behalten Sie die Ausgabeobergrenze im Auge: 16.384 Tokens sind großzügig für die meisten Chat-Antworten, aber nicht für die Generierung sehr langer Dokumente in einem einzigen Aufruf, planen Sie also eine Aufteilung ein, wenn Sie mehr benötigen. Der Wissensstand vom 31. Dezember 2023 bedeutet außerdem, dass zeitkritische Fragen eine Retrieval oder frischen Kontext im Prompt erfordern. Wenn Ihr Workload rein textbasiert ist und in diese Grenzen passt, ist dieses Modell eine unkomplizierte Option; wenn Sie Bild- oder Audioeingaben benötigen, bräuchten Sie ein anderes Modell, da dieses nur Text verarbeitet.