Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2는 Sao10K의 텍스트 모델로, 이 제공자는 창의적 글쓰기와 역할극을 겨냥한 파인튜닝으로 알려져 있습니다. 이 모델은 Llama 3.1 70B를 기반으로 하며 Euryale L3 70B v2.1의 후속 모델입니다. 제공자는 이 모델을 창의적 역할극에 초점을 맞춘 것으로 설명하므로, 범용 어시스턴트 작업보다는 서사와 캐릭터 중심 대화에 맞춰 조정된 오픈 가중치 스타일 모델의 영역에 속합니다.

이 모델은 텍스트를 입력받아 텍스트를 반환합니다. 컨텍스트 윈도우는 131072 토큰으로, 단일 요청에 긴 대화, 확장된 장면 또는 상당한 크기의 문서를 담을 수 있을 만큼 큽니다. 최대 출력은 16384 토큰이므로 단일 응답이 꽤 길 수 있지만, 입력 윈도우보다는 작습니다. 지식 컷오프는 2023-12-31이며, 이는 작업이 그 날짜 이후의 사건에 의존하는 경우 중요합니다. 지원되는 요청 파라미터에는 temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens 및 structured_outputs가 포함됩니다.

실용적인 용도는 이러한 프로필에서 따라옵니다. 창의적 역할극과 캐릭터 채팅이 가장 명확한 적합 용도인데, 모델이 이를 위해 튜닝되었기 때문입니다. 장편 소설, 장면 이어쓰기 및 인터랙티브 스토리텔링도 큰 컨텍스트 윈도우에 적합합니다. 프롬프트에 많은 이전 서사를 잘라내지 않고 유지할 수 있기 때문입니다. 샘플링 파라미터는 어조와 반복을 세밀하게 제어할 수 있게 해주므로, 긴 세션에서 일관된 캐릭터 목소리를 원할 때 도움이 됩니다. 구조화된 출력은 모델이 자유로운 산문보다 더 예측 가능한 것을 반환하게 하고 싶을 때 유용할 수 있습니다. 예를 들어 역할극 파이프라인 안의 장면 요약이나 필드 집합 같은 경우입니다.

모델 id "sao10k/l3.1-euryale-70b"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 호환이므로 기존 OpenAI 클라이언트를 api14의 base URL로 지정하고 model 필드에 해당 id를 전달할 수 있습니다. 요청은 위에 나열된 파라미터를 지원하므로 필요에 따라 temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens 및 structured_outputs를 설정할 수 있습니다. 페이지의 실시간 가격 표가 비용을 다룹니다.

염두에 둘 한 가지 제한은 2023-12-31의 지식 컷오프이므로, 더 새로운 정보가 필요한 것은 모델 자체에서 나오지 않습니다. 16384 토큰의 출력 상한은 또한 매우 긴 이어쓰기를 여러 번의 호출에 걸쳐 만들어야 함을 의미합니다. 작업이 창의적 글쓰기가 아니라 사실적 질문 응답, 코드 생성 또는 도구 사용이라면 범용 모델이 더 적합할 수 있습니다.