MythoMax 13B

MythoMax 13B は Gryphe によるテキストモデルで、api14 上では gryphe/mythomax-l2-13b として識別されます。これは Llama 2 13B のファインチューンであり、単一のトレーニング実行ではなくマージによって生成されたもので、Gryphe はこのベースモデルのファインチューンの中で最も高性能かつ最も人気のあるものの一つだと説明しています。テキストカテゴリに属するため、画像、音声、その他のモダリティではなく、言語処理向けに作られています。

このモデルはテキストを入力として受け取り、テキストを出力として返します。コンテキストウィンドウは 8192 トークンで、かなり長いプロンプトと生成された返答を合わせて収めることができ、最大出力は 3686 トークンです。知識カットオフは 2023 年 6 月 30 日であるため、それ以降の日付のものはトレーニング中に学習した範囲外です。Gryphe は豊かな描写とロールプレイをこのファインチューンの特に強い点として挙げており、これはこのモデルが生成しがちな文章の種類についての有用な手がかりです。

これらの特性は、かなり特定の用途群を示しています。ロールプレイと豊かな描写の強みにより、インタラクティブフィクション、キャラクター主導のチャット、トーンと細部が重要となるナラティブや対話の生成に自然に適合します。8192 トークンのコンテキストにより、長く続く会話や相当な長さのシーンを、絶えず切り詰めることなく視野に収めておけます。また 3686 トークンの出力上限は、数段落に及ぶ返答を支えます。創作以外では、一般的なテキスト生成やチャット形式のアシスタントにも使えますが、知識カットオフのため、2023 年 6 月以降の出来事に関する質問に頼るべきではありません。

これは api14 の OpenAI 互換 API を通じて、モデル ID gryphe/mythomax-l2-13b を使って呼び出します。そのため、既存の OpenAI クライアントライブラリとリクエスト形式は、モデル名を変えるだけで機能します。サポートされるリクエストパラメータは frequency_penalty、logit_bias、logprobs、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_a、top_k、top_logprobs、top_p です。これは広いサンプリングと制御の面です。通常の temperature、top_p、top_k、ペナルティ設定に加えて、コミュニティのファインチューン作業で一般的な min_p、top_a、repetition_penalty があります。seed は再現可能なサンプリングを提供し、stop シーケンスは選択した文字列で生成を打ち切れます。また logprobs と top_logprobs はトークンレベルの確率を公開します。response_format と structured_outputs は、出力を特定の形に整える必要がある場合に利用できます。

留意すべき主な制限は、8192 トークンのコンテキストと 3686 トークンの出力上限、そして 2023 年 6 月の知識カットオフです。タスクがはるかに大きなコンテキスト、より新しい知識、または非テキスト入力を必要とするなら、api14 上の別のモデルの方が適しています。これらの範囲内での創作、キャラクターチャット、一般的なテキスト生成には、このモデルは妥当な選択です。