ReMM SLERP 13B

ReMM SLERP 13B는 2023년 7월 22일에 Undi95가 출시한 텍스트 생성 모델입니다. 제공자는 이 모델을 업데이트된 모델들을 사용한 원본 MythoMax-L2-B13의 재현 시도라고 설명하며, 처음부터 훈련된 것이 아니라 다른 미세 조정된 모델들의 가중치를 결합한 병합 모델로 배포됩니다. Undi95는 커뮤니티 병합 모델로 잘 알려진 독립 모델 게시자이므로, 이는 대형 연구소의 자체 출시가 아닌 커뮤니티가 만든 모델입니다.

이 모델은 텍스트 입력으로 작동하며 텍스트 출력만 생성합니다. 컨텍스트 윈도우는 6,144 토큰이고 최대 출력은 5,529 토큰이므로, 긴 프롬프트는 그에 상응하여 답변을 위한 공간을 줄입니다. 지식 컷오프는 2023년 6월 30일이며, 이는 그 날짜 이후의 내용은 훈련 중 학습한 범위 밖이라는 뜻입니다. 이러한 범위 안에서 이 모델은 일반적인 지시 수행 채팅 모델처럼 작동하며, 일반적인 샘플링 제어로 조정할 수 있습니다.

컨텍스트 윈도우가 적당한 범용 텍스트 모델이므로 채팅과 대화, 단편 글쓰기와 다시 쓰기, 컨텍스트 안에 들어가는 구절의 요약, 제공된 텍스트에 대한 질의응답, 캐릭터나 시나리오 작성 같은 가벼운 창작 작업에 적합합니다. MythoMax-L2-B13으로 거슬러 올라가는 병합 계보 덕분에 대화 및 역할극 스타일 프롬프트에 합리적인 선택이 되며, 이 경우 미세 조정이 일반 베이스 모델보다 더 표현력 있는 답변을 만들어내는 경향이 있습니다. 6,144 토큰은 몇천 단어만 포함하므로 매우 긴 문서에는 적합하지 않으며, 이미지, 오디오 또는 기타 비텍스트 입력은 지원하지 않습니다.

api14의 OpenAI 호환 API를 통해 모델 id "undi95/remm-slerp-l2-13b"로 호출할 수 있습니다. 기존 OpenAI 클라이언트를 api14 base URL로 지정하고 해당 id로 채팅 완성 요청을 보내면, 요청과 응답 형태는 OpenAI의 것과 동일하게 유지됩니다. 이 모델은 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs 및 top_p를 지원합니다. 이는 표준 샘플링 매개변수와 몇 가지 추가 항목을 포함합니다. min_p, top_a 및 repetition_penalty는 샘플링을 더 세밀하게 제어하기 위한 것이고, seed는 재현 가능한 실행을 위한 것이며, response_format과 structured_outputs는 출력을 정의된 형태로 받아야 할 때 사용합니다.

염두에 둘 두 가지 제한이 있습니다. 6,144 토큰 컨텍스트와 5,529 토큰 출력 상한은 장문 문서나 대규모 코드베이스 작업을 배제하며, 2023년 6월 지식 컷오프는 모델이 그보다 최근의 내용을 알지 못한다는 뜻입니다. 작업에 훨씬 더 큰 컨텍스트 윈도우, 최신 세계 지식 또는 비텍스트 입력이 필요하다면, api14의 다른 모델이 더 나은 선택이 될 것입니다.