Magnum v4 72B

Magnum v4 72B は、Anthracite Org によるテキスト生成モデルで、2024年10月22日にリリースされました。これは Claude 3 モデル、具体的には Sonnet と Opus の散文品質を再現するために構築されたシリーズの一部です。このモデルは Qwen2.5 72B という 720億パラメータのベースの上にファインチューニングされているため、その基盤を受け継ぎつつ、特定の文体に合わせて調整されています。

このモデルはテキスト入力を受け取りテキスト出力を返すため、api14 ではテキストカテゴリに属します。コンテキストウィンドウは 32768 トークンなので、プロンプトと会話履歴を合わせてその長さまで扱えます。1リクエストあたりの最大出力は 4096 トークンで、知識カットオフは 2024年6月30日です。それ以降に起きたことは、トレーニング中にモデルが学習した範囲外です。

機能がユースケースを形作ります。このモデルはツール利用やマルチモーダルではなく散文品質のために調整されているため、文章中心の作業に適しています。長文コンテンツの下書きと書き直し、トーンとレジスターの調整、特定の声に合わせた編集、ロールプレイやキャラクター主導の対話、コンテキストウィンドウ内に収まる長文ドキュメントの要約などです。32768 トークンのコンテキストは相当量のソース資料を渡すことを支え、4096 トークンの出力上限は非常に長い単一生成よりも、章、記事、複数段落の返信に適しています。

呼び出すには api14 の OpenAI 互換 API を通し、モデル id "anthracite-org/magnum-v4-72b" を使用します。API は幅広いリクエストパラメータをサポートしています: frequency_penalty、logit_bias、logprobs、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_a、top_k、top_logprobs、top_p です。structured_outputs と response_format は、自由な散文ではなくスキーマに従った返信が必要なときに利用でき、seed は再現可能な結果が欲しいときに役立ちます。サンプリング制御により、タスクに合わせて創造性と繰り返しを調整できます。

選択する際は制限に留意してください。コンテキストウィンドウは 32768 トークンなので、非常に大きなコードベース、本一冊分の入力、長いエージェント履歴は収まりません。また 4096 トークンの最大出力により、それを超える長さの単一生成はできません。知識カットオフが 2024年6月30日であるため、最近の出来事や現在のドキュメントはモデルにとって未知です。画像入力、音声、またははるかに大きなコンテキストが必要な場合は、api14 上の別のモデルの方が適しています。