Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct é um modelo de geração de texto da Nous Research, construído sobre a base Llama 3.1 70B. É a terceira geração da linha Hermes, e a Nous descreve-o como um modelo de linguagem generalista com melhorias em relação ao Hermes 2, incluindo capacidades agênticas avançadas, melhor roleplaying, raciocínio, conversação multi-turno e coerência de contexto longo. O modelo foi lançado pelo fornecedor a 18 de agosto de 2024, e o seu knowledge cutoff é 31 de dezembro de 2023.

O modelo aceita entrada de texto e devolve saída de texto, pelo que é um modelo de linguagem puro, sem tratamento de imagem ou áudio. A sua janela de contexto é de 131.072 tokens, o que é suficientemente grande para conter documentos longos, conversas extensas ou ficheiros de código consideráveis num único pedido. A saída máxima é de 16.384 tokens, pelo que as respostas podem ser longas, mas ficam bem abaixo do tamanho do contexto de entrada. Como o contexto é longo e o modelo está ajustado para coerência ao longo dele, pode ser usado para tarefas em que partes anteriores de uma conversa ou documento precisam de permanecer relevantes muitas interações depois.

Essas capacidades apontam para alguns usos práticos. Os fluxos de trabalho agênticos são uma força declarada, pelo que a chamada de ferramentas e a orquestração de tarefas em várias etapas são enquadramentos razoáveis. As melhorias no roleplaying e na conversação multi-turno adequam-se a assistentes de chat, aplicações orientadas a personagens e experiências interativas que precisam de uma persona e memória consistentes ao longo de uma sessão longa. O raciocínio e a coerência de contexto longo tornam-no utilizável para resposta a perguntas sobre documentos, sumarização de material extenso e assistência a código em que um ficheiro inteiro ou uma secção de repositório tem de ser considerada de uma só vez. As saídas estruturadas também são suportadas, o que ajuda quando o modelo tem de devolver dados numa forma fixa para análise posterior.

Chamas o modelo através da API compatível com OpenAI da api14 usando o model id "nousresearch/hermes-3-llama-3.1-70b". Como o endpoint segue o formato de chat completions da OpenAI, os SDKs e clientes OpenAI existentes funcionam apenas com uma alteração de base URL e chave. Os parâmetros de pedido suportados são frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k e top_p. O parâmetro seed permite amostragem reproduzível, e structured_outputs restringe a geração a um esquema definido. Nota que min_p, repetition_penalty e top_k não fazem parte do conjunto de parâmetros padrão da OpenAI, por isso verifica se o teu cliente os passa adiante em vez de descartar campos desconhecidos.

As principais restrições a ter em conta são a entrada e saída apenas de texto, o limite de saída de 16.384 tokens e o knowledge cutoff de 31 de dezembro de 2023, pelo que qualquer coisa após essa data está fora dos dados de treino do modelo. Se a tua tarefa depende de entrada de imagem ou áudio, este modelo não serve, e precisarias de um modelo multimodal em vez disso. Para trabalho que se enquadra em texto e nos limites de contexto e saída indicados, o Hermes 3 70B Instruct é uma escolha direta através do gateway api14.