Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct는 Nous Research의 텍스트 생성 모델로, Llama 3.1 70B 베이스를 기반으로 구축되었습니다. Hermes 라인의 3세대 모델이며, Nous는 이를 Hermes 2보다 개선된 범용 언어 모델로 설명합니다. 개선 사항에는 고급 에이전트 기능, 더 나은 롤플레잉, 추론, 다중 턴 대화, 긴 컨텍스트 일관성이 포함됩니다. 이 모델은 제공자가 2024년 8월 18일에 공개했으며, 지식 컷오프는 2023년 12월 31일입니다.

이 모델은 텍스트 입력을 받아 텍스트 출력을 반환하므로 이미지나 오디오를 처리하지 않는 순수 언어 모델입니다. 컨텍스트 윈도우는 131,072 토큰으로, 단일 요청에 긴 문서, 장시간 대화, 상당한 크기의 코드 파일을 담을 수 있을 만큼 큽니다. 최대 출력은 16,384 토큰이므로 응답이 길 수 있지만, 입력 컨텍스트 크기보다 훨씬 낮게 제한됩니다. 컨텍스트가 길고 모델이 그 전반에서 일관성을 유지하도록 튜닝되었기 때문에, 대화나 문서의 앞부분이 여러 턴 이후에도 관련성을 유지해야 하는 작업에 사용할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 에이전트 워크플로는 명시된 강점이므로 도구 호출과 다단계 작업 오케스트레이션이 적합합니다. 롤플레잉과 다중 턴 대화 개선은 채팅 어시스턴트, 캐릭터 기반 애플리케이션, 긴 세션에서 일관된 페르소나와 기억이 필요한 상호작용 경험에 알맞습니다. 추론과 긴 컨텍스트 일관성 덕분에 문서 질의응답, 장문 자료 요약, 전체 파일이나 저장소 일부를 한 번에 고려해야 하는 코드 지원에 사용할 수 있습니다. 구조화된 출력도 지원되므로 모델이 다운스트림 파싱을 위해 고정된 형태로 데이터를 반환해야 할 때 도움이 됩니다.

이 모델은 모델 id "nousresearch/hermes-3-llama-3.1-70b"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 엔드포인트가 OpenAI chat completions 형식을 따르므로 기존 OpenAI SDK와 클라이언트는 base URL과 키만 바꾸면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_p입니다. seed 파라미터는 재현 가능한 샘플링을 가능하게 하고, structured_outputs는 생성을 정의된 스키마로 제한합니다. min_p, repetition_penalty, top_k는 표준 OpenAI 파라미터 집합에 속하지 않으므로, 클라이언트가 알 수 없는 필드를 버리지 않고 전달하는지 확인하십시오.

염두에 두어야 할 주요 제약은 텍스트 전용 입력과 출력, 16,384 토큰 출력 상한, 2023년 12월 31일 지식 컷오프이므로 그 날짜 이후의 내용은 모델의 학습 데이터 밖에 있습니다. 작업이 이미지나 오디오 입력에 의존한다면 이 모델은 맞지 않으며, 대신 멀티모달 모델이 필요합니다. 텍스트와 명시된 컨텍스트 및 출력 한도 안에 맞는 작업이라면, Hermes 3 70B Instruct는 api14 게이트웨이를 통해 간단히 선택할 수 있는 모델입니다.