ReMM SLERP 13B

ReMM SLERP 13B は、2023 年 7 月 22 日に Undi95 によってリリースされたテキスト生成モデルです。プロバイダーによって、更新されたモデルを使用したオリジナルの MythoMax-L2-B13 の再現試行として説明されており、マージとして配布されています。つまり、その重みはゼロからトレーニングされたのではなく、他の微調整されたモデルから結合されたものです。Undi95 はコミュニティのマージで知られる独立したモデルパブリッシャーであるため、これは大規模ラボからのファーストパーティリリースではなく、コミュニティによって構築されたモデルです。

このモデルはテキスト入力で動作し、テキスト出力のみを生成します。コンテキストウィンドウは 6,144 トークン、最大出力は 5,529 トークンであるため、長いプロンプトでは返信の余地がそれに応じて少なくなります。知識カットオフは 2023 年 6 月 30 日であり、それ以降のものはトレーニング中に学習した範囲外であることを意味します。これらの範囲内では、一般的な指示追従型チャットモデルのように動作し、通常のサンプリング制御で誘導できます。

これは適度なコンテキストウィンドウを持つ汎用テキストモデルであるため、チャットや対話、短編の執筆や書き換え、コンテキスト内に収まる文章の要約、提供されたテキストに対する質問応答、キャラクターやシナリオの執筆のような軽い創作作業などのタスクに適しています。MythoMax-L2-B13 に遡るマージ系譜により、会話やロールプレイスタイルのプロンプトに適した選択肢となり、そのチューニングはプレーンなベースモデルよりも表現豊かな返信を生成する傾向があります。6,144 トークンは数千語程度しかカバーしないため、非常に長い文書には適しておらず、画像、音声、その他の非テキスト入力もありません。

api14 の OpenAI 互換 API を通じて、モデル ID「undi95/remm-slerp-l2-13b」を使用して呼び出すことができます。既存の OpenAI クライアントを api14 のベース URL に向け、その ID でチャット補完リクエストを送信すれば、リクエストとレスポンスの形状は OpenAI のものと同じままです。このモデルは frequency_penalty、logit_bias、logprobs、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_a、top_k、top_logprobs、top_p をサポートしています。これは標準的なサンプリングパラメータに加えていくつかの追加項目をカバーしています。min_p、top_a、repetition_penalty はサンプリングをより細かく制御するため、seed は再現可能な実行のため、response_format と structured_outputs は出力を定義された形状にする必要がある場合のためのものです。

留意すべき 2 つの制限があります。6,144 トークンのコンテキストと 5,529 トークンの出力上限により、長文書や大規模コードベースの作業はできません。また、2023 年 6 月の知識カットオフにより、モデルはそれより新しいことを知りません。タスクにより大きなコンテキストウィンドウ、最新の世界知識、または非テキスト入力が必要な場合は、api14 上の別のモデルの方がより適しています。