Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct é um modelo de geração de texto da Nous Research, lançado em 16 de agosto de 2024. É um modelo de linguagem generalista construído como uma atualização sobre o Hermes 2, com o fornecedor a descrever melhorias nas capacidades agênticas, roleplaying, raciocínio, conversação multi-turno e coerência de contexto longo. O id do modelo na api14 é nousresearch/hermes-3-llama-3.1-405b.

O modelo aceita entrada de texto e devolve saída de texto, pelo que se adequa a cargas de trabalho padrão de chat e de completion. Tem uma janela de contexto de 131.072 tokens e uma saída máxima de 16.384 tokens, o que significa que pode enviar prompts, documentos ou históricos de conversa muito longos e ainda deixar espaço para uma resposta substancial. O seu corte de conhecimento é 31 de dezembro de 2023, pelo que qualquer coisa após essa data está fora do que aprendeu durante o treino.

Devido ao contexto longo e à ênfase na conversação multi-turno e no comportamento agêntico, o modelo adequa-se a tarefas como resposta a perguntas sobre documentos longos, resumir ou extrair de entradas grandes, manter diálogo coerente ao longo de muitos turnos, e construir agentes que usam ferramentas ou que executam múltiplos passos. As melhorias de roleplaying e raciocínio também o tornam uma escolha razoável para chat orientado a personagens, brainstorming estruturado e tarefas em que o modelo tem de seguir uma persona ou um conjunto detalhado de instruções ao longo de uma sessão longa.

Chama-o através da API compatível com OpenAI da api14 usando o id de modelo nousresearch/hermes-3-llama-3.1-405b, o que significa que os SDKs e clientes OpenAI existentes funcionam apenas com a base URL e a chave alteradas. Os parâmetros de pedido que suporta são frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. A presença de response_format e structured_outputs é útil quando precisa de saída JSON ou em forma de esquema em vez de texto livre, e seed ajuda quando quer gerações mais reproduzíveis.

Tenha em conta o limite de saída: 16.384 tokens é generoso para a maioria das respostas de chat mas não para gerar documentos muito longos numa única chamada, por isso planeie a divisão em blocos se precisar de mais. O corte de conhecimento de 31 de dezembro de 2023 também significa que perguntas sensíveis ao tempo precisam de retrieval ou de contexto fresco fornecido no prompt. Se a sua carga de trabalho for puramente texto e se enquadrar nestes limites, este modelo é uma opção direta; se precisar de entrada de imagem ou áudio, precisaria de um modelo diferente, uma vez que este só lida com texto.