Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 は Amazon のテキスト専用モデルで、Nova ファミリーのモデルの一部です。Amazon は 2024 年 12 月 5 日にこれをリリースし、そのファミリーの中で最も低いレイテンシの選択肢として位置づけています。入力と出力のモダリティがどちらもテキストであるため、マルチモーダルな入力や出力ではなく高速なテキスト応答を必要とする開発者を対象としています。

このモデルはテキストプロンプトを受け取り、テキスト補完を返します。コンテキストウィンドウは 128,000 トークンで、長い文書、長期間の会話、または大量の参照資料を 1 回のリクエストに収めるのに十分です。最大出力は 5,120 トークンなので、どれだけ多くの入力を送っても応答はその長さに制限されます。知識カットオフは 2024 年 10 月 31 日であり、それ以降のものはモデルがトレーニング中に学習した範囲外であることを意味します。どちらの方向にも画像、音声、動画のサポートはありません。

テキスト専用で低レイテンシ向けに調整されているため、Nova Micro 1.0 は深い推論よりも速度が重要な作業に適しています。典型的な用途には、素早い返信を必要とするチャットアシスタントやカスタマーサポートボット、受信テキストの分類とルーティング、コンテキストウィンドウ内に収まる長い文書の要約、非構造化テキストからの構造化フィールドの抽出、軽量なコンテンツ生成があります。128,000 トークンのコンテキストと 5,120 トークンの出力上限の組み合わせは、取得した passages をプロンプトに貼り付けて短い根拠に基づく回答を求める検索拡張生成にも適しています。ツール呼び出しが利用可能なので、モデルがどのツールを呼び出すかを決定するエージェント形式のワークフローで関数呼び出しを駆動できます。

このモデルは、モデル id "amazon/nova-micro-v1" を使用して api14 の OpenAI 互換 API を通じて呼び出します。インターフェースは OpenAI chat completions の形式に従っているため、既存の OpenAI クライアントを api14 のベース URL に向け、model フィールドを変更するだけで、リクエストの他の構造を変更する必要はありません。サポートされているリクエストパラメータは max_tokens、stop、temperature、tools、top_k、top_p です。max_tokens は 5,120 トークンの出力制限内で応答長を上限設定するために使用し、stop は選択したシーケンスで生成を停止するために使用し、temperature は top_p または top_k とともにサンプリングのランダム性を制御するために使用し、tools はモデルが呼び出せる関数を宣言するために使用します。

このモデルを選ぶ際は制約を考慮してください。テキストのみを扱うため、画像や音声を含むタスクには別のモデルが必要です。5,120 トークンの出力上限により非常に長い単一応答は不可能であり、2024 年 10 月の知識カットオフは、プロンプトで提供しない限り最近の出来事が対象外であることを意味します。タスクがより重い推論やマルチモーダル入力を必要とする場合、カタログ内の別のモデルの方が適している可能性があります。