Amazon: Nova Lite 1.0

Amazon Nova Lite 1.0 は、2024年12月5日にリリースされた Amazon のテキスト生成モデルです。Amazon の Nova ファミリーのモデルに位置し、マルチモーダル作業向けの高速で低コストな選択肢として位置付けられています。このモデルは api14 上では amazon/nova-lite-v1 として識別され、Amazon が開発者でありプロバイダーでもあります。

このモデルはテキストと画像の入力を受け付け、テキスト出力を生成します。コンテキストウィンドウは300,000トークンで、非常に長い文書、長い会話、または画像とテキストの大規模なコレクションを単一のリクエストで処理できます。最大出力は5,120トークンなので、入力が大きくても応答は制限されます。知識カットオフは2024年10月31日であり、その日付以降の出来事に関する情報は、プロンプトで提供されない限り持ちません。Amazon はこのモデルを、画像、動画、テキスト入力の高速処理によるテキスト出力の生成に焦点を当てたものと説明しているため、マルチモーダル入力での速度が設計の中心的な部分です。

これらの機能は、いくつかの実用的な用途を示しています。テキストだけでなく画像も読み取るため、画像内容の説明や要約、スクリーンショットやスキャンした文書からの情報抽出、画像と書面による指示の組み合わせに依存する質問への回答などのタスクに適しています。300,000トークンのコンテキストにより、長いレポート、長いチャット履歴、またはより小さなウィンドウには収まらない大量の資料を扱えます。5,120トークンの出力上限は、非常に長い文書を1回の呼び出しで生成するよりも、要約、回答、分類、短い生成文に適していることを意味します。画像を見てテキストで返信する必要があるアシスタントや、大量の混合入力を迅速に処理する必要があるパイプラインを構築する開発者が、自然な対象です。

モデルは、モデル id である amazon/nova-lite-v1 を使用して、api14 の OpenAI 互換 API を通じて呼び出します。インターフェースは OpenAI 形式に従っているため、既存の OpenAI クライアントライブラリとリクエスト形式は、通常、モデル名を変更するだけで機能します。サポートされるリクエストパラメータは、max_tokens、stop、temperature、tools、top_k、top_p です。tools パラメータは関数呼び出しまたはツール呼び出しが利用可能であることを意味するため、外部関数をいつ呼び出すかをモデルが判断するエージェント形式の構成で使用できます。temperature、top_k、top_p はサンプリングを制御し、stop では生成を終了させるシーケンスを定義でき、max_tokens は応答長を制限します。

コミットする前に検討すべきいくつかの制限があります。出力は5,120トークンに制限されているため、非常に長い単一の応答が必要な場合は、より高い出力上限を持つモデルの方が適している可能性があります。2024年10月31日の知識カットオフは、それ以降の出来事に関する質問には、関連するコンテキストをプロンプトに含める必要があることを意味します。モデルはテキストのみを出力するため、画像を生成することはできません。タスクが純粋にテキストであり、画像入力や非常に大きなコンテキストの恩恵を受けない場合は、より単純なテキスト専用モデルで十分な場合があります。