Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct es un modelo de generación de texto de Nous Research, lanzado el 16 de agosto de 2024. Es un modelo de lenguaje generalista construido como una mejora sobre Hermes 2, y el proveedor describe mejoras en capacidades agénticas, juego de roles, razonamiento, conversación multiturno y coherencia en contextos largos. El id del modelo en api14 es nousresearch/hermes-3-llama-3.1-405b.

El modelo acepta entrada de texto y devuelve salida de texto, por lo que encaja en cargas de trabajo estándar de chat y de estilo completion. Tiene una ventana de contexto de 131.072 tokens y una salida máxima de 16.384 tokens, lo que significa que puedes enviar prompts, documentos o historiales de conversación muy largos y aún dejar espacio para una respuesta sustancial. Su fecha de corte de conocimiento es el 31 de diciembre de 2023, por lo que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento.

Debido al contexto largo y al énfasis en la conversación multiturno y el comportamiento agéntico, el modelo encaja en tareas como responder preguntas sobre documentos largos, resumir o extraer de entradas grandes, mantener un diálogo coherente a lo largo de muchos turnos y construir agentes que usan herramientas o de varios pasos. Las mejoras en juego de roles y razonamiento también lo convierten en una opción razonable para chat impulsado por personajes, lluvia de ideas estructurada y tareas en las que el modelo debe seguir una persona o un conjunto detallado de instrucciones durante una sesión larga.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id del modelo nousresearch/hermes-3-llama-3.1-405b, lo que significa que los SDK y clientes de OpenAI existentes funcionan cambiando solo la URL base y la clave. Los parámetros de solicitud que admite son frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k y top_p. La presencia de response_format y structured_outputs es útil cuando necesitas salida JSON o con forma de esquema en lugar de texto libre, y seed ayuda cuando quieres generaciones más reproducibles.

Ten en cuenta el techo de salida: 16.384 tokens es generoso para la mayoría de las respuestas de chat, pero no para generar documentos muy largos en una sola llamada, así que planifica el troceado si necesitas más. La fecha de corte de conocimiento del 31 de diciembre de 2023 también significa que las preguntas sensibles al tiempo necesitan recuperación o contexto fresco proporcionado en el prompt. Si tu carga de trabajo es puramente texto y encaja en estos límites, este modelo es una opción sencilla; si necesitas entrada de imagen o audio, necesitarías un modelo diferente, ya que este solo maneja texto.