Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct est un modèle de génération de texte de Nous Research, publié le 16 août 2024. C'est un modèle de langage généraliste conçu comme une amélioration de Hermes 2, le fournisseur décrivant des améliorations des capacités agentiques, du jeu de rôle, du raisonnement, de la conversation multi-tours et de la cohérence sur un long contexte. L'identifiant du modèle sur api14 est nousresearch/hermes-3-llama-3.1-405b.

Le modèle accepte une entrée texte et renvoie une sortie texte, ce qui le rend adapté aux charges de travail standard de type chat et complétion. Il dispose d'une fenêtre de contexte de 131 072 tokens et d'une sortie maximale de 16 384 tokens, ce qui signifie que vous pouvez envoyer des invites, des documents ou des historiques de conversation très longs tout en laissant de la place pour une réponse substantielle. Sa date de coupure des connaissances est le 31 décembre 2023, donc tout ce qui suit cette date sort de ce qu'il a appris pendant l'entraînement.

En raison du long contexte et de l'accent mis sur la conversation multi-tours et le comportement agentique, le modèle convient à des tâches telles que la réponse à des questions sur de longs documents, le résumé ou l'extraction à partir de grandes entrées, le maintien d'un dialogue cohérent sur de nombreux tours, et la construction d'agents utilisant des outils ou à plusieurs étapes. Les améliorations du jeu de rôle et du raisonnement en font aussi un choix raisonnable pour le chat piloté par un personnage, le brainstorming structuré et les tâches où le modèle doit suivre un persona ou un ensemble d'instructions détaillé sur une longue session.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle nousresearch/hermes-3-llama-3.1-405b, ce qui signifie que les SDK et clients OpenAI existants fonctionnent en changeant seulement l'URL de base et la clé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k et top_p. La présence de response_format et structured_outputs est utile lorsque vous avez besoin d'une sortie JSON ou conforme à un schéma plutôt que de texte libre, et seed aide lorsque vous voulez des générations plus reproductibles.

Gardez le plafond de sortie à l'esprit : 16 384 tokens est généreux pour la plupart des réponses de chat mais pas pour générer des documents très longs en un seul appel, donc prévoyez un découpage si vous avez besoin de plus. La date de coupure des connaissances du 31 décembre 2023 signifie aussi que les questions sensibles au temps nécessitent une récupération ou un contexte frais fourni dans l'invite. Si votre charge de travail est purement textuelle et respecte ces limites, ce modèle est une option simple ; si vous avez besoin d'entrée image ou audio, vous auriez besoin d'un modèle différent, puisque celui-ci ne traite que le texte.