Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instructは、Metaのテキスト生成モデルであり、2024年7月23日にリリースされたLlama 3.1ファミリーの一部です。これは700億パラメータ版で、指示追従向けに調整されています。つまり、単に生のテキストを続けるのではなく、プロンプトに応答し、対話を実行するように設計されています。Metaはこのinstructバリアントを、高品質な対話ユースケースに最適化されたものとして位置付けており、サイズの面ではLlama 3.1シリーズの中間に位置します。

このモデルはテキストを入力として受け取り、テキストを出力として返すため、画像、音声、動画を扱わない純粋な言語モデルです。コンテキストウィンドウは131,072トークンで、長い文書、拡張された会話、かなり大きなコードファイルを1回のリクエストに収めるのに十分な大きさです。最大出力長は16,384トークンなので、応答は相当な長さにできますが、入力上限よりはかなり低く制限されています。知識カットオフは2023年12月31日であり、それ以降のものはトレーニング中に学習した範囲外です。

これらの特性は、かなり明確な実用的用途を示しています。長いコンテキストは、長文書の要約や質問応答、契約レビュー、リサーチ統合、会話の以前の部分を視野に入れておく必要があるマルチターンチャットに適しています。指示チューニングにより、アシスタント、下書き、書き換え、分類、抽出タスクにも合理的に適合します。このモデルはツール呼び出しと構造化出力をサポートしているため、自由なテキストだけを生成するのではなく、定義された形でデータを返したり外部関数を呼び出したりする必要があるパイプラインでも使用できます。

これは、モデルID meta-llama/llama-3.1-70b-instruct を使用して、api14のOpenAI互換APIを通じて呼び出します。インターフェースはOpenAIスキーマに従っているため、既存のOpenAIクライアントをapi14のベースURLに向け、そのIDをmodelフィールドに渡すことができます。サポートされるリクエストパラメータは、frequency_penalty、logit_bias、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_pです。これには通常のサンプリング制御、seedによる決定論的出力、停止シーケンス、およびツール呼び出しと構造化出力の両モードが含まれます。

判断する際に覚えておく価値のある制限がいくつかあります。コンテキストウィンドウははるかに大きいにもかかわらず、出力は16,384トークンに制限されているため、非常に長い単一応答を必要とするタスクでは分割や別モデルが必要になる場合があります。知識カットオフが2023年12月31日であるため、プロンプトで提供しない限り最近の出来事はカバーされません。また、入力と出力はテキストのみであるため、画像や音声を含むものはこのモデルができる範囲外です。