Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct è un modello di generazione di testo di Nous Research, rilasciato il 16 agosto 2024. È un modello linguistico generalista costruito come aggiornamento rispetto a Hermes 2, con il fornitore che descrive miglioramenti nelle capacità agentiche, nel roleplaying, nel ragionamento, nella conversazione multi-turno e nella coerenza su contesti lunghi. L'id del modello su api14 è nousresearch/hermes-3-llama-3.1-405b.

Il modello accetta input di testo e restituisce output di testo, quindi si adatta a carichi di lavoro standard in stile chat e completion. Ha una finestra di contesto di 131.072 token e un output massimo di 16.384 token, il che significa che puoi inviare prompt, documenti o cronologie di conversazione molto lunghi e lasciare comunque spazio per una risposta sostanziosa. Il suo knowledge cutoff è il 31 dicembre 2023, quindi qualsiasi cosa successiva a quella data è al di fuori di ciò che ha appreso durante l'addestramento.

Grazie al contesto lungo e all'enfasi sulla conversazione multi-turno e sul comportamento agentico, il modello è adatto a compiti come domande e risposte su documenti lunghi, riassunto o estrazione da input di grandi dimensioni, mantenimento di un dialogo coerente attraverso molti turni e costruzione di agenti che usano strumenti o multi-step. I miglioramenti nel roleplaying e nel ragionamento lo rendono anche una scelta ragionevole per chat guidate da personaggi, brainstorming strutturato e compiti in cui il modello deve seguire una persona o un insieme dettagliato di istruzioni per una sessione lunga.

Lo chiami tramite l'API compatibile con OpenAI di api14 usando l'id del modello nousresearch/hermes-3-llama-3.1-405b, il che significa che gli SDK e i client OpenAI esistenti funzionano cambiando solo l'URL di base e la chiave. I parametri di richiesta supportati sono frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. La presenza di response_format e structured_outputs è utile quando hai bisogno di output JSON o conformi a uno schema anziché testo libero, e seed aiuta quando desideri generazioni più riproducibili.

Tieni presente il limite massimo di output: 16.384 token sono generosi per la maggior parte delle risposte in chat ma non per generare documenti molto lunghi in una sola chiamata, quindi pianifica la suddivisione in blocchi se ti serve di più. Il knowledge cutoff del 31 dicembre 2023 significa anche che le domande sensibili al tempo richiedono recupero di informazioni o un contesto aggiornato fornito nel prompt. Se il tuo carico di lavoro è puramente testuale e rientra in questi limiti, questo modello è un'opzione semplice; se hai bisogno di input di immagini o audio, avresti bisogno di un modello diverso, poiché questo gestisce solo testo.