Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct es un modelo de generación de texto de Nous Research, construido sobre la base de Llama 3.1 70B. Es la tercera generación de la línea Hermes, y Nous lo describe como un modelo de lenguaje generalista con mejoras sobre Hermes 2, incluyendo capacidades agénticas avanzadas, mejor roleplaying, razonamiento, conversación multiturno y coherencia de contexto largo. El modelo fue lanzado por el proveedor el 18 de agosto de 2024, y su fecha de corte de conocimiento es el 31 de diciembre de 2023.

El modelo acepta entrada de texto y devuelve salida de texto, por lo que es un modelo de lenguaje puro sin manejo de imágenes ni audio. Su ventana de contexto es de 131,072 tokens, lo cual es suficientemente grande para contener documentos largos, conversaciones extendidas o archivos de código considerables en una sola solicitud. La salida máxima es de 16,384 tokens, por lo que las respuestas pueden ser largas, pero están limitadas muy por debajo del tamaño del contexto de entrada. Debido a que el contexto es largo y el modelo está ajustado para la coherencia a lo largo de él, puede usarse para tareas donde las partes anteriores de una conversación o documento necesitan permanecer relevantes muchas interacciones después.

Esas capacidades apuntan a algunos usos prácticos. Los flujos de trabajo agénticos son una fortaleza declarada, por lo que el llamamiento de herramientas y la orquestación de tareas de varios pasos son encajes razonables. Las mejoras de roleplaying y conversación multiturno se adaptan a asistentes de chat, aplicaciones impulsadas por personajes y experiencias interactivas que necesitan una persona y memoria consistentes durante una sesión larga. El razonamiento y la coherencia de contexto largo lo hacen utilizable para respuesta a preguntas sobre documentos, resumen de material extenso y asistencia de código donde se debe considerar un archivo completo o una sección de repositorio a la vez. También se admiten salidas estructuradas, lo que ayuda cuando el modelo debe devolver datos en una forma fija para su análisis posterior.

Se llama al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "nousresearch/hermes-3-llama-3.1-70b". Debido a que el endpoint sigue el formato de finalizaciones de chat de OpenAI, los SDK y clientes de OpenAI existentes funcionan con solo un cambio de URL base y clave. Los parámetros de solicitud admitidos son frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k y top_p. El parámetro seed permite un muestreo reproducible, y structured_outputs restringe la generación a un esquema definido. Tenga en cuenta que min_p, repetition_penalty y top_k no forman parte del conjunto de parámetros estándar de OpenAI, así que verifique que su cliente los transmita en lugar de descartar campos desconocidos.

Las principales restricciones a tener en cuenta son la entrada y salida solo de texto, el límite de salida de 16,384 tokens y la fecha de corte de conocimiento del 31 de diciembre de 2023, por lo que cualquier cosa posterior a esa fecha queda fuera de los datos de entrenamiento del modelo. Si su tarea depende de entrada de imagen o audio, este modelo no encajará, y necesitaría un modelo multimodal en su lugar. Para trabajo que encaje dentro del texto y los límites declarados de contexto y salida, Hermes 3 70B Instruct es una elección sencilla a través de la puerta de enlace api14.