Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct is een tekstgeneratiemodel van Nous Research, gebouwd op de Llama 3.1 70B basis. Het is de derde generatie van de Hermes lijn, en Nous beschrijft het als een generalistisch taalmodel met verbeteringen ten opzichte van Hermes 2, waaronder geavanceerde agentische mogelijkheden, beter roleplaying, redeneren, gesprekken met meerdere beurten en coherentie over lange context. Het model werd door de provider uitgebracht op 18 augustus 2024, en de knowledge cutoff is 31 december 2023.

Het model accepteert tekstinvoer en retourneert tekstuitvoer, dus het is een puur taalmodel zonder beeld- of audioprocessing. Het contextvenster is 131.072 tokens, wat groot genoeg is om lange documenten, uitgebreide gesprekken of omvangrijke codebestanden in één verzoek te bevatten. De maximale uitvoer is 16.384 tokens, dus antwoorden kunnen lang zijn, maar ze zijn ruim onder de invoercontextgrootte begrensd. Omdat de context lang is en het model is afgestemd op coherentie daarbinnen, kan het worden gebruikt voor taken waarbij eerdere delen van een gesprek of document vele beurten later relevant moeten blijven.

Die mogelijkheden wijzen op een paar praktische toepassingen. Agentische workflows zijn een genoemde sterkte, dus tool calling en het orkestreren van taken in meerdere stappen passen goed. De verbeteringen op het gebied van roleplaying en gesprekken met meerdere beurten zijn geschikt voor chatassistenten, karaktergestuurde toepassingen en interactieve ervaringen die een consistente persona en geheugen gedurende een lange sessie vereisen. Redeneren en coherentie over lange context maken het bruikbaar voor documentvraagbeantwoording, samenvatting van lang materiaal en codeassistentie waarbij een heel bestand of een sectie van een repository in één keer moet worden beschouwd. Gestructureerde uitvoer wordt ook ondersteund, wat helpt wanneer het model gegevens in een vaste vorm moet retourneren voor verdere parsing.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "nousresearch/hermes-3-llama-3.1-70b". Omdat het endpoint het OpenAI chat completions formaat volgt, werken bestaande OpenAI SDKs en clients met alleen een wijziging van de base URL en key. De ondersteunde aanvraagparameters zijn frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k en top_p. De seed parameter maakt reproduceerbare sampling mogelijk, en structured_outputs beperkt generatie tot een gedefinieerd schema. Let op dat min_p, repetition_penalty en top_k geen deel uitmaken van de standaard OpenAI parameterset, dus controleer dat je client ze doorgeeft in plaats van onbekende velden te laten vallen.

De belangrijkste beperkingen om in gedachten te houden zijn de tekst-only invoer en uitvoer, het uitvoerplafond van 16.384 tokens en de knowledge cutoff van 31 december 2023, dus alles na die datum valt buiten de trainingsgegevens van het model. Als je taak afhangt van beeld- of audio-invoer, past dit model niet, en zou je in plaats daarvan een multimodaal model nodig hebben. Voor werk dat binnen tekst en de genoemde context- en uitvoerlimieten past, is Hermes 3 70B Instruct een voor de hand liggende keuze via de api14 gateway.