Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct is een tekstgeneratiemodel van Nous Research, uitgebracht op 16 augustus 2024. Het is een generalistisch taalmodel gebouwd als een upgrade ten opzichte van Hermes 2, waarbij de provider verbeteringen beschrijft in agentische mogelijkheden, roleplaying, redeneren, meerbeurtsgesprekken en coherentie over lange context. Het model-id op api14 is nousresearch/hermes-3-llama-3.1-405b.

Het model accepteert tekstinvoer en retourneert tekstuitvoer, dus het past bij standaard chat- en completion-workloads. Het heeft een contextvenster van 131.072 tokens en een maximale uitvoer van 16.384 tokens, wat betekent dat je zeer lange prompts, documenten of gespreksgeschiedenissen kunt sturen en toch ruimte overhoudt voor een substantieel antwoord. De kennisafsluitdatum is 31 december 2023, dus alles na die datum valt buiten wat het tijdens training heeft geleerd.

Vanwege de lange context en de nadruk op meerbeurtsgesprekken en agentisch gedrag is het model geschikt voor taken zoals vraagbeantwoording over lange documenten, samenvatten of extraheren uit grote invoeren, het voeren van coherente dialogen over vele beurten, en het bouwen van tool-gebruikende of meerstaps-agenten. De verbeteringen op het gebied van roleplaying en redeneren maken het ook een redelijke keuze voor personagegestuurde chat, gestructureerd brainstormen en taken waarbij het model gedurende een lange sessie een persona of een gedetailleerde instructieset moet volgen.

Je roept het aan via de OpenAI-compatibele API van api14 met het model-id nousresearch/hermes-3-llama-3.1-405b, wat betekent dat bestaande OpenAI SDK's en clients werken met alleen een gewijzigde base URL en sleutel. De aanvraagparameters die het ondersteunt zijn frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k en top_p. De aanwezigheid van response_format en structured_outputs is nuttig wanneer je JSON of schema-vormige uitvoer nodig hebt in plaats van vrije tekst, en seed helpt wanneer je meer reproduceerbare generaties wilt.

Houd het uitvoerplafond in gedachten: 16.384 tokens is ruim voor de meeste chatantwoorden, maar niet voor het genereren van zeer lange documenten in één aanroep, dus plan chunking als je meer nodig hebt. De kennisafsluitdatum van 31 december 2023 betekent ook dat tijdsgevoelige vragen retrieval of verse context in de prompt nodig hebben. Als je workload puur tekst is en binnen deze grenzen past, is dit model een eenvoudige optie; als je beeld- of audio-invoer nodig hebt, zou je een ander model nodig hebben, want dit model verwerkt alleen tekst.