Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instructは、Nous Researchによるテキスト生成モデルで、Llama 3.1 70Bベース上に構築されています。これはHermesラインの第3世代であり、NousはこれをHermes 2に対する改善を備えた汎用言語モデルと説明しています。改善点には、高度なエージェント機能、より優れたロールプレイング、推論、マルチターン会話、長いコンテキストの一貫性が含まれます。このモデルはプロバイダーによって2024年8月18日にリリースされ、知識カットオフは2023年12月31日です。

このモデルはテキスト入力を受け取り、テキスト出力を返すため、画像や音声を扱わない純粋な言語モデルです。コンテキストウィンドウは131,072トークンで、長い文書、拡張された会話、またはかなり大きなコードファイルを単一のリクエストに収めるのに十分な大きさです。最大出力は16,384トークンであるため、応答は長くできますが、入力コンテキストサイズよりはかなり低く上限が設定されています。コンテキストが長く、モデルがその全体にわたる一貫性のために調整されているため、会話や文書の以前の部分が何ターンも後まで関連性を保つ必要があるタスクに使用できます。

これらの機能は、いくつかの実用的な用途を示しています。エージェントワークフローは明言された強みであるため、ツール呼び出しやマルチステップのタスクオーケストレーションは妥当な適合先です。ロールプレイングとマルチターン会話の改善は、チャットアシスタント、キャラクター主導のアプリケーション、長いセッションにわたって一貫したペルソナと記憶を必要とするインタラクティブな体験に適しています。推論と長いコンテキストの一貫性により、文書の質問応答、長文資料の要約、ファイル全体またはリポジトリのセクションを一度に考慮する必要があるコード支援に使用できます。構造化出力もサポートされており、モデルが下流の解析のために固定された形でデータを返す必要がある場合に役立ちます。

このモデルは、モデルID「nousresearch/hermes-3-llama-3.1-70b」を使用して、api14のOpenAI互換APIを通じて呼び出します。エンドポイントはOpenAI chat completions形式に従っているため、既存のOpenAI SDKとクライアントはベースURLとキーの変更だけで動作します。サポートされるリクエストパラメータは、frequency_penalty、logit_bias、max_tokens、min_p、presence_penalty、repetition_penalty、seed、stop、structured_outputs、temperature、top_k、top_pです。seedパラメータは再現可能なサンプリングを可能にし、structured_outputsは生成を定義済みスキーマに制約します。min_p、repetition_penalty、top_kは標準のOpenAIパラメータセットには含まれないため、クライアントが未知のフィールドを破棄せずにこれらを通過させることを確認してください。

留意すべき主な制約は、テキストのみの入力と出力、16,384トークンの出力上限、そして2023年12月31日の知識カットオフであるため、それ以降のものはモデルのトレーニングデータ外です。タスクが画像または音声入力に依存する場合、このモデルは適合せず、代わりにマルチモーダルモデルが必要になります。テキストと記載されたコンテキストおよび出力制限内に収まる作業であれば、Hermes 3 70B Instructはapi14ゲートウェイを通じた素直な選択肢です。