Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct è un modello di generazione di testo di Nous Research, basato sulla base Llama 3.1 70B. È la terza generazione della linea Hermes, e Nous lo descrive come un modello linguistico generalista con miglioramenti rispetto a Hermes 2, incluse capacità agentiche avanzate, roleplaying migliore, ragionamento, conversazione multi-turno e coerenza su contesti lunghi. Il modello è stato rilasciato dal provider il 18 agosto 2024, e il suo knowledge cutoff è il 31 dicembre 2023.

Il modello accetta input testuale e restituisce output testuale, quindi è un modello linguistico puro senza gestione di immagini o audio. La sua finestra di contesto è di 131.072 token, abbastanza ampia da contenere documenti lunghi, conversazioni estese o file di codice di dimensioni considerevoli in una singola richiesta. L'output massimo è di 16.384 token, quindi le risposte possono essere lunghe, ma sono limitate ben al di sotto della dimensione del contesto di input. Poiché il contesto è lungo e il modello è ottimizzato per la coerenza su di esso, può essere utilizzato per attività in cui le parti precedenti di una conversazione o di un documento devono rimanere rilevanti molte turni dopo.

Queste capacità indicano alcuni usi pratici. I flussi di lavoro agentici sono un punto di forza dichiarato, quindi il tool calling e l'orchestrazione di attività multi-step sono applicazioni ragionevoli. I miglioramenti nel roleplaying e nella conversazione multi-turno si adattano ad assistenti chat, applicazioni basate su personaggi ed esperienze interattive che richiedono una persona e una memoria coerenti durante una sessione lunga. Il ragionamento e la coerenza su contesti lunghi lo rendono utilizzabile per il question answering su documenti, il riassunto di materiale lungo e l'assistenza al codice quando un intero file o una sezione di repository deve essere considerata in una sola volta. Sono supportati anche gli output strutturati, il che è utile quando il modello deve restituire dati in una forma fissa per il parsing a valle.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando il model id "nousresearch/hermes-3-llama-3.1-70b". Poiché l'endpoint segue il formato chat completions di OpenAI, gli SDK e i client OpenAI esistenti funzionano con il solo cambio di base URL e chiave. I parametri di richiesta supportati sono frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k e top_p. Il parametro seed consente un campionamento riproducibile, e structured_outputs vincola la generazione a uno schema definito. Si noti che min_p, repetition_penalty e top_k non fanno parte del set di parametri standard di OpenAI, quindi verificare che il proprio client li passi attraverso invece di scartare i campi sconosciuti.

I principali vincoli da tenere a mente sono l'input e l'output solo testuali, il tetto di output di 16.384 token e il knowledge cutoff del 31 dicembre 2023, quindi qualsiasi cosa successiva a tale data è al di fuori dei dati di addestramento del modello. Se l'attività dipende da input di immagini o audio, questo modello non è adatto, e sarebbe necessario un modello multimodale. Per lavori che rientrano nel testo e nei limiti dichiarati di contesto e output, Hermes 3 70B Instruct è una scelta semplice tramite il gateway api14.