Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct는 Nous Research의 텍스트 생성 모델로, 2024년 8월 16일에 출시되었습니다. 이는 Hermes 2의 업그레이드로 만들어진 범용 언어 모델이며, 제공사는 에이전트 능력, 역할극, 추론, 다중 턴 대화, 긴 컨텍스트 일관성에서의 개선을 설명합니다. api14에서의 모델 id는 nousresearch/hermes-3-llama-3.1-405b입니다.

이 모델은 텍스트 입력을 받아 텍스트 출력을 반환하므로 표준 채팅 및 완성 스타일 워크로드에 적합합니다. 컨텍스트 윈도우는 131,072 토큰이고 최대 출력은 16,384 토큰이며, 이는 매우 긴 프롬프트, 문서 또는 대화 기록을 보내고도 상당한 답변을 위한 여유를 남길 수 있다는 뜻입니다. 지식 컷오프는 2023년 12월 31일이므로 그 이후의 내용은 학습 중에 습득한 범위 밖입니다.

긴 컨텍스트와 다중 턴 대화 및 에이전트 동작에 대한 강조 때문에, 이 모델은 긴 문서 질의응답, 큰 입력에서의 요약 또는 추출, 여러 턴에 걸친 일관된 대화 유지, 도구를 사용하거나 다단계로 진행하는 에이전트 구축 같은 작업에 적합합니다. 역할극과 추론의 개선은 또한 캐릭터 중심 채팅, 구조화된 브레인스토밍, 그리고 긴 세션 동안 모델이 페르소나나 상세한 지시 세트를 따라야 하는 작업에 합리적인 선택이 되게 합니다.

api14의 OpenAI 호환 API를 통해 모델 id nousresearch/hermes-3-llama-3.1-405b로 호출하므로, 기존 OpenAI SDK와 클라이언트는 base URL과 키만 변경하면 작동합니다. 지원하는 요청 매개변수는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, top_p입니다. response_format과 structured_outputs의 존재는 자유 텍스트가 아니라 JSON 또는 스키마 형태의 출력이 필요할 때 유용하며, seed는 더 재현 가능한 생성을 원할 때 도움이 됩니다.

출력 상한을 염두에 두십시오. 16,384 토큰은 대부분의 채팅 답변에는 넉넉하지만 한 번의 호출로 매우 긴 문서를 생성하기에는 충분하지 않으므로, 더 필요하면 청킹을 계획하십시오. 2023년 12월 31일의 지식 컷오프는 또한 시간에 민감한 질문에 검색 또는 프롬프트에 제공된 최신 컨텍스트가 필요하다는 뜻입니다. 워크로드가 순전히 텍스트이고 이 범위에 맞는다면 이 모델은 간단한 선택입니다. 이미지나 오디오 입력이 필요하면 이 모델은 텍스트만 처리하므로 다른 모델이 필요합니다.