Magnum v4 72B

Magnum v4 72B는 Anthracite Org의 텍스트 생성 모델로, 2024년 10월 22일에 공개되었습니다. 이 모델은 Claude 3 모델들, 특히 Sonnet과 Opus의 문체 품질을 재현하기 위해 만들어진 시리즈의 일부입니다. 이 모델은 720억 개 파라미터 기반인 Qwen2.5 72B 위에 파인튜닝되었으므로, 그 기반을 물려받으면서 특정한 문체에 맞게 조정되었습니다.

이 모델은 텍스트 입력을 받아 텍스트 출력을 반환하므로 api14에서 텍스트 카테고리에 속합니다. 컨텍스트 윈도우는 32768 토큰이므로 프롬프트와 대화 기록을 합쳐 그 길이까지 사용할 수 있습니다. 요청당 최대 출력은 4096 토큰이며, 지식 컷오프는 2024년 6월 30일입니다. 그 날짜 이후에 일어난 일은 모델이 학습 중에 습득한 범위 밖입니다.

이러한 기능이 사용 사례를 결정합니다. 이 모델은 도구 사용이나 멀티모달리티보다는 문체 품질에 맞게 조정되었기 때문에, 긴 형식 콘텐츠의 초안 작성과 재작성, 어조와 문체 조정, 특정 목소리에 맞춘 편집, 역할극과 캐릭터 중심 대화, 컨텍스트 윈도우 안에 들어오는 긴 문서의 요약처럼 글쓰기 비중이 큰 작업에 적합합니다. 32768 토큰 컨텍스트는 상당한 분량의 원문 자료를 넣는 것을 지원하며, 4096 토큰 출력 상한은 매우 긴 단일 생성보다는 챕터, 기사, 여러 문단으로 된 답변에 알맞습니다.

모델 id "anthracite-org/magnum-v4-72b"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 이 API는 다양한 요청 파라미터를 지원합니다: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs, top_p. 자유로운 산문이 아니라 스키마를 따르는 답변이 필요할 때 structured_outputs와 response_format을 사용할 수 있고, 재현 가능한 결과를 원할 때 seed가 도움이 됩니다. 샘플링 제어를 통해 작업에 맞게 창의성과 반복성을 조정할 수 있습니다.

선택할 때 한계를 염두에 두십시오. 컨텍스트 윈도우는 32768 토큰이므로 매우 큰 코드베이스, 책 한 권 분량의 입력, 긴 에이전트 기록은 들어가지 않으며, 4096 토큰 최대 출력으로 인해 그 길이를 넘는 단일 생성은 불가능합니다. 2024년 6월 30일이라는 지식 컷오프는 최근 사건이나 현재 문서를 모델이 알지 못한다는 뜻입니다. 이미지 입력, 오디오 또는 훨씬 더 큰 컨텍스트가 필요하다면 api14의 다른 모델이 더 적합할 것입니다.