TheDrummer: UnslopNemo 12B

TheDrummer: UnslopNemo 12B は、Rocinante の作者である TheDrummer によるテキストモデルです。プロバイダーによって 2024-11-08 にリリースされ、プロバイダーの説明では UnslopNemo v4.1 として位置づけられており、その系統への最新の追加で、アドベンチャー執筆とロールプレイのシナリオ向けに設計されています。テキストカテゴリに属するため、画像、音声、その他のモダリティではなく、言語作業を対象としています。

入力側では、このモデルはテキストのみを受け付け、テキストのみを生成します。コンテキストウィンドウは 1,024,000 トークンで、これは異例なほど大きく、長い原稿、拡張されたチャット履歴、大きな参照文書を 1 つのリクエストに保持できます。最大出力は 819,200 トークンなので、そのウィンドウ内で長い生成が可能です。知識カットオフは 2024-04-30 で、これはタスクがその日付以降の出来事に依存する場合に重要です。サポートされるリクエストパラメータには、frequency_penalty、logit_bias、logprobs、max_tokens、presence_penalty、repetition_penalty、seed、stop、structured_outputs、temperature、top_k、top_logprobs、top_p が含まれます。

アドベンチャー執筆とロールプレイへの明示された注力は、このモデルが最も適する領域を示しています。インタラクティブフィクションやテキストアドベンチャーは自然に合致します。モデルは長いシナリオを進め、キャラクターとして応答できるからです。広範なバックストーリーを持つ持続的なキャラクターを含むロールプレイチャットは、大きなコンテキストウィンドウの恩恵を受けます。以前のターンや設定メモをプロンプトに保持できるからです。連載物語やキャンペーン資料など、より長い形式の創作執筆ももう 1 つの妥当な用途です。サンプリングパラメータにより、口調と反復を制御できるため、キャラクターやナレーターの声を長いセッション全体で一貫させる必要がある場合に役立ちます。機械可読な応答が必要な場合、またはモデルが各ステップでどれほど自信を持っていたかを調べたい場合には、structured outputs と logprobs が利用できます。

このモデルは、モデル id "thedrummer/unslopnemo-12b" を使用して api14 の OpenAI 互換 API を通じて呼び出します。インターフェースは OpenAI chat completions の形に従っているため、既存の OpenAI クライアントを api14 のベース URL に向け、その id を model フィールドで渡すことができます。上記のリクエストパラメータがサポートされているので、必要に応じて temperature、top_p、top_k、repetition_penalty、presence_penalty、frequency_penalty、max_tokens、stop、seed、logit_bias、logprobs、top_logprobs、structured_outputs を設定できます。seed パラメータは、テスト中に再現可能なサンプリングを行いたい場合に便利です。

知識カットオフに留意してください。2024-04-30 より後のものはモデルが学習した範囲外であるため、最近の情報に依存するタスクには別のアプローチが必要になる場合があります。このモデルはテキストのみなので、アプリケーションが画像や音声を扱う必要がある場合は、別のモデルの方が適しています。テキスト生成、ロールプレイ、長いコンテキストの執筆作業には、試す価値のある素直な選択肢です。