MythoMax 13B

MythoMax 13B는 Gryphe의 텍스트 모델로, api14에서 gryphe/mythomax-l2-13b로 식별됩니다. 이는 Llama 2 13B의 파인튜닝 버전으로, 단일 학습 실행이 아니라 병합을 통해 만들어졌으며, Gryphe는 이를 해당 베이스 모델의 가장 성능이 뛰어나고 인기 있는 파인튜닝 중 하나라고 설명합니다. 텍스트 카테고리에 속하므로 이미지, 오디오 또는 기타 모달리티가 아닌 언어 작업을 위해 만들어졌습니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환합니다. 컨텍스트 윈도우는 8192 토큰으로, 상당히 긴 프롬프트와 생성된 응답을 함께 포함할 수 있으며, 최대 출력은 3686 토큰입니다. 지식 컷오프는 2023년 6월 30일이므로 그 이후의 내용은 학습 중에 습득한 범위를 벗어납니다. Gryphe는 풍부한 묘사와 역할극을 이 파인튜닝의 특히 강한 강점으로 강조하는데, 이는 이 모델이 만들어내는 문체의 종류에 대한 유용한 신호입니다.

이러한 특성은 상당히 구체적인 용도 집합을 가리킵니다. 역할극과 풍부한 묘사 강점은 어조와 세부 사항이 중요한 인터랙티브 픽션, 캐릭터 중심 채팅, 내러티브 또는 대화 생성에 자연스럽게 맞습니다. 8192 토큰 컨텍스트를 통해 긴 대화나 상당한 장면을 계속 잘라내지 않고 유지할 수 있으며, 3686 토큰 출력 상한은 여러 문단에 이르는 응답을 지원합니다. 창작 글쓰기 외에도 일반 텍스트 생성과 채팅 스타일 어시스턴트에 사용할 수 있지만, 지식 컷오프 때문에 2023년 6월 이후 사건에 관한 질문에 의존해서는 안 됩니다.

api14의 OpenAI 호환 API를 통해 모델 id gryphe/mythomax-l2-13b를 사용하여 호출하므로, 기존 OpenAI 클라이언트 라이브러리와 요청 형태가 모델 이름만 바꾸면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs, top_p입니다. 이는 넓은 샘플링 및 제어 표면입니다. 일반적인 temperature, top_p, top_k 및 페널티 설정에 더해, 커뮤니티 파인튜닝 워크플로에서 흔히 쓰이는 min_p, top_a, repetition_penalty가 있습니다. seed는 재현 가능한 샘플링을 제공하고, stop 시퀀스는 선택한 문자열에서 생성을 끊을 수 있게 하며, logprobs와 top_logprobs는 토큰 수준 확률을 노출합니다. response_format과 structured_outputs는 출력을 특정 방식으로 형성해야 할 때 사용할 수 있습니다.

염두에 두어야 할 주요 한계는 8192 토큰 컨텍스트와 3686 토큰 출력 상한, 그리고 2023년 6월 지식 컷오프입니다. 작업에 훨씬 더 큰 컨텍스트, 더 최신 지식 또는 비텍스트 입력이 필요하다면 api14의 다른 모델이 더 적합할 것입니다. 이러한 범위 안에서 창작 글쓰기, 캐릭터 채팅 및 일반 텍스트 생성에는 이 모델이 합리적인 선택입니다.