Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct は、Nous Research によるテキスト生成モデルで、2024年8月16日にリリースされました。Hermes 2 のアップグレードとして構築された汎用言語モデルであり、プロバイダーはエージェント機能、ロールプレイング、推論、マルチターン会話、長いコンテキストの一貫性における改善を説明しています。api14 上のモデル id は nousresearch/hermes-3-llama-3.1-405b です。

このモデルはテキスト入力を受け取りテキスト出力を返すため、標準的なチャットおよび補完スタイルのワークロードに適合します。コンテキストウィンドウは 131,072 トークン、最大出力は 16,384 トークンです。つまり、非常に長いプロンプト、ドキュメント、会話履歴を送信しても、十分な返答のための余地を残せます。知識カットオフは 2023年12月31日であるため、それ以降の内容はトレーニング中に学習した範囲外です。

長いコンテキストと、マルチターン会話およびエージェント動作への重点により、このモデルは長いドキュメントの質問応答、大きな入力の要約や抽出、多くのターンにわたる一貫した対話の維持、ツールを使用するエージェントや多段階エージェントの構築などのタスクに適しています。ロールプレイングと推論の改善により、キャラクター主導のチャット、構造化されたブレインストーミング、長いセッションにわたってペルソナや詳細な指示セットに従う必要があるタスクにも妥当な選択肢となります。

api14 の OpenAI 互換 API を通じて、モデル id nousresearch/hermes-3-llama-3.1-405b を使用して呼び出します。つまり、既存の OpenAI SDK およびクライアントは、ベース URL とキーを変更するだけで動作します。サポートされるリクエストパラメータは、frequency_penalty、logit_bias、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_k、top_p です。response_format と structured_outputs の存在は、自由なテキストではなく JSON やスキーマ形式の出力が必要な場合に有用であり、seed はより再現性の高い生成が必要な場合に役立ちます。

出力上限に注意してください。16,384 トークンはほとんどのチャット返答には十分ですが、1回の呼び出しで非常に長いドキュメントを生成するには十分ではないため、それ以上が必要な場合はチャンク分割を計画してください。また、知識カットオフが 2023年12月31日であるため、時間に敏感な質問には検索またはプロンプト内で提供される新しいコンテキストが必要です。ワークロードが純粋にテキストでこれらの範囲に収まる場合、このモデルは straightforward な選択肢です。画像や音声入力が必要な場合は、このモデルはテキストのみを扱うため、別のモデルが必要になります。