Nous: Hermes 3 70B Instruct

Nous : Hermes 3 70B Instruct est un modèle de génération de texte de Nous Research, construit sur la base Llama 3.1 70B. Il s'agit de la troisième génération de la gamme Hermes, et Nous le décrit comme un modèle de langage généraliste avec des améliorations par rapport à Hermes 2, notamment des capacités agentiques avancées, un meilleur jeu de rôle, le raisonnement, la conversation multi-tours et la cohérence sur un long contexte. Le modèle a été publié par le fournisseur le 18 août 2024, et sa date limite de connaissances est le 31 décembre 2023.

Le modèle accepte une entrée texte et renvoie une sortie texte, c'est donc un modèle de langage pur, sans traitement d'image ni d'audio. Sa fenêtre de contexte est de 131 072 tokens, ce qui est suffisamment grand pour contenir de longs documents, des conversations étendues ou des fichiers de code volumineux en une seule requête. La sortie maximale est de 16 384 tokens, les réponses peuvent donc être longues, mais elles sont plafonnées bien en dessous de la taille du contexte d'entrée. Comme le contexte est long et que le modèle est ajusté pour y maintenir sa cohérence, il peut être utilisé pour des tâches où les parties antérieures d'une conversation ou d'un document doivent rester pertinentes plusieurs tours plus tard.

Ces capacités indiquent quelques usages pratiques. Les workflows agentiques sont une force annoncée, donc l'appel d'outils et l'orchestration de tâches en plusieurs étapes sont des cas adaptés. Les améliorations du jeu de rôle et de la conversation multi-tours conviennent aux assistants de chat, aux applications à personnages et aux expériences interactives qui nécessitent un persona cohérent et de la mémoire sur une longue session. Le raisonnement et la cohérence sur un long contexte le rendent utilisable pour la réponse à des questions sur des documents, le résumé de contenus longs et l'assistance au code lorsqu'un fichier entier ou une section de dépôt doit être prise en compte d'un seul coup. Les sorties structurées sont également prises en charge, ce qui aide lorsque le modèle doit renvoyer des données dans une forme fixe pour un parsing en aval.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "nousresearch/hermes-3-llama-3.1-70b". Comme le point de terminaison suit le format des complétions de chat OpenAI, les SDK et clients OpenAI existants fonctionnent avec un simple changement d'URL de base et de clé. Les paramètres de requête pris en charge sont frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k et top_p. Le paramètre seed permet un échantillonnage reproductible, et structured_outputs contraint la génération à un schéma défini. Notez que min_p, repetition_penalty et top_k ne font pas partie de l'ensemble standard des paramètres OpenAI, vérifiez donc que votre client les transmet au lieu de supprimer les champs inconnus.

Les principales contraintes à garder en tête sont l'entrée et la sortie uniquement textuelles, le plafond de sortie de 16 384 tokens et la date limite de connaissances du 31 décembre 2023, donc tout ce qui est postérieur à cette date est en dehors des données d'entraînement du modèle. Si votre tâche dépend d'une entrée image ou audio, ce modèle ne conviendra pas, et vous auriez besoin d'un modèle multimodal à la place. Pour un travail qui tient dans le texte et dans les limites de contexte et de sortie indiquées, Hermes 3 70B Instruct est un choix simple via la passerelle api14.