Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2 は、クリエイティブライティングとロールプレイに焦点を当てたファインチューンで知られるプロバイダー Sao10K によるテキストモデルです。これは Llama 3.1 70B をベースにしており、Euryale L3 70B v2.1 の後継です。プロバイダーはこれをクリエイティブなロールプレイに焦点を当てたものと説明しているため、汎用アシスタント作業ではなく、物語とキャラクター主導の会話向けに調整されたオープンウェイト系モデルの領域に位置します。

このモデルはテキストを入力として受け取り、テキストを出力します。コンテキストウィンドウは 131072 トークンで、長い会話、拡張されたシーン、かなりの規模の文書を 1 回のリクエストに収めるのに十分な大きさです。最大出力は 16384 トークンなので、1 回の応答はかなり長くできますが、入力ウィンドウよりは小さくなります。知識カットオフは 2023-12-31 で、これはタスクがその日付以降の出来事に依存する場合に重要です。サポートされるリクエストパラメータには、temperature、top_p、top_k、min_p、repetition_penalty、frequency_penalty、presence_penalty、logit_bias、seed、stop、max_tokens、structured_outputs が含まれます。

実用的な用途はこの特性から導かれます。クリエイティブなロールプレイとキャラクターチャットは、このモデルがそれ向けに調整されているため、最も明確に適合します。長編フィクション、シーンの続き、インタラクティブなストーリーテリングも、大きなコンテキストウィンドウに適しています。以前の物語を切り詰めずに大量にプロンプトへ保持できるからです。サンプリングパラメータにより、トーンと繰り返しを細かく制御できるため、長いセッションを通じて一貫したキャラクターの声を保ちたい場合に役立ちます。構造化出力は、自由な散文よりも予測可能なものをモデルに返してほしい場合、たとえばロールプレイパイプライン内のシーン要約や一連のフィールドなどに有用です。

これはモデル id "sao10k/l3.1-euryale-70b" を使って api14 の OpenAI 互換 API 経由で呼び出します。インターフェースが OpenAI 互換なので、既存の OpenAI クライアントを api14 のベース URL に向け、その id を model フィールドに渡すことができます。リクエストは上記のパラメータをサポートするため、必要に応じて temperature、top_p、top_k、min_p、repetition_penalty、frequency_penalty、presence_penalty、logit_bias、seed、stop、max_tokens、structured_outputs を設定できます。ページ上のライブ価格表がコストを扱います。

留意すべき制限の 1 つは 2023-12-31 という知識カットオフで、より新しい情報を必要とするものはモデル自体からは出てきません。16384 トークンの出力上限も、非常に長い続きを複数回の呼び出しに分けて構築する必要があることを意味します。タスクがクリエイティブライティングではなく、事実に基づく質問応答、コード生成、ツール使用である場合、汎用モデルのほうがより適しているかもしれません。