Venice: Uncensored

Venice: Uncensored는 모델 id cognitivecomputations/dolphin-mistral-24b-venice-edition로 공개된 텍스트 모델입니다. 이는 Mistral-Small-24B-Instruct-2501의 파인튜닝 변형으로, dphn.ai가 Venice.ai와 협력하여 개발했습니다. 제공자로 등록된 이름은 Venice이며, 제공자 릴리스 날짜는 2025-07-09입니다. 텍스트 카테고리에 속하며, 검열 없는 인스트럭트 튜닝 대규모 언어 모델로 설명됩니다.

이 모델은 텍스트를 입력으로 받아 텍스트를 출력하므로, 이미지나 오디오를 처리하지 않는 단순한 채팅 및 완성 모델입니다. 컨텍스트 길이는 128,000 토큰으로, 긴 문서, 확장된 대화, 대용량 프롬프트 페이로드를 단일 요청에서 처리할 수 있습니다. 최대 출력은 8,192 토큰이므로 응답은 입력 컨텍스트 크기보다 훨씬 낮게 제한됩니다. 지식 컷오프는 2024-04-30이며, 이는 프롬프트에 제공되지 않는 한 해당 날짜 이후의 사건을 인식하지 못한다는 뜻입니다.

인스트럭트 튜닝 모델이면서 컨텍스트가 크기 때문에, 긴 원문 자료에 대한 장문 질의응답, 여러 문서가 포함된 프롬프트의 요약 또는 정보 추출, 긴 이력을 유지해야 하는 대화형 에이전트 같은 작업에 적합합니다. 검열 없는 튜닝 덕분에 민감하거나 논란이 되는 주제에 대한 거부 반응을 줄이고자 하는 경우, 예를 들어 소설 쓰기, 역할극, 토론 시뮬레이션, 모델 행동 연구 등에 관련성이 있습니다. 출력 상한이 8,192 토큰이라는 점은 매우 긴 단일 패스 문서 생성보다는 답변과 초안 작성에 더 적합하다는 의미입니다.

이 모델은 api14의 OpenAI 호환 API를 통해 모델 id "cognitivecomputations/dolphin-mistral-24b-venice-edition"로 호출합니다. 지원되는 요청 파라미터는 frequency_penalty, max_tokens, presence_penalty, response_format, stop, temperature, top_k, top_p입니다. 이 외에 별도의 파라미터 목록은 없으므로, 샘플링 동작은 temperature, top_p, top_k로 제어하고, 반복은 두 페널티로 제어하며, 출력 길이는 max_tokens로 제어합니다. 구조화된 출력은 response_format을 통해 요청할 수 있고, 생성은 stop에 지정한 문자열에서 중단할 수 있습니다.

결정하기 전에 고려할 만한 두 가지 제약이 있습니다. 지식 컷오프가 2024-04-30이라는 점은 시간에 민감한 질문에 검색 또는 새로운 컨텍스트를 프롬프트에 주입해야 한다는 뜻입니다. 최대 출력 8,192 토큰은 단일 응답 길이를 제한하므로, 훨씬 더 긴 출력이 필요하다면 호출을 연쇄하거나 출력 상한이 더 높은 모델을 선택해야 합니다. 입력은 텍스트 전용이므로, 이미지나 오디오가 관련된 작업에는 다른 모델이 필요합니다.