Meta: Llama 3.1 8B Instruct

メタ: Llama 3.1 8B Instructは、2024年7月に登場したLlama 3.1ファミリーの一部である、Metaの指示チューニング済みテキストモデルです。8Bサイズはそのファミリーの中では小さい側に位置し、はるかに大きなモデルの重さなしに有能な汎用アシスタントが欲しい場合の妥当なデフォルトとなります。これはテキスト専用モデルであるため、画像や音声に関わるものではなく、チャット、下書き、抽出、および同様の言語タスクに適しています。

このモデルはテキストを入力として受け取り、テキストを出力します。131,072トークンのコンテキストウィンドウをサポートしており、これは長い文書、拡張された会話、またはかなりのサイズのコードファイルを単一のリクエストに収めるのに十分な大きさです。最大出力は117,964トークンであるため、そのウィンドウ内で長い生成が可能です。知識カットオフは2023-12-31であり、それ以降の出来事や情報はトレーニングデータに含まれていません。正確さが最近の事実に依存する場合、モデルの記憶に頼るのではなく、関連するコンテキストを自分で提供する必要があります。

これらの特性は、いくつかの実用的な用途を示しています。長い入力に対する要約と質問応答は、大きなコンテキストウィンドウによく合います。指示追従性により、チャットアシスタント、書き換え、分類、および乱雑なテキストからの構造化データ抽出に適しています。ツールと構造化出力を受け入れるため、関数を呼び出したりJSONを返したりするパイプラインにおける推論ステップとしても機能します。8Bサイズはレイテンシとリソース使用量を比較的低く保つため、多数のリクエストを実行する場合や、より大きなモデルにコミットする前にアイデアをプロトタイピングする場合に役立ちます。

モデルID meta-llama/llama-3.1-8b-instruct を使用して、api14のOpenAI互換APIを通じて呼び出すことができます。既存のOpenAIクライアントをapi14のベースURLに向け、そのIDをmodelフィールドに渡してください。このモデルは frequency_penalty、logit_bias、logprobs、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_logprobs、top_p を受け入れます。これは通常のサンプリング制御に加えて、ツール呼び出し、構造化出力、およびseedによる再現可能な実行をカバーしています。

考慮すべき点の1つは、知識カットオフとモデルのサイズです。タスクが2023-12-31以降の事実を必要とする場合は、プロンプト内または検索を通じてそれらを提供する計画を立ててください。画像または音声入力が必要な場合、このモデルはそれを受け入れないため、マルチモーダルモデルの方が適しています。最も難しい推論や最も要求の厳しい生成品質には、同じファミリーのより大きなモデルの方が適しているかもしれませんが、この8Bバージョンは大量かつ低複雑度の作業にとって依然として堅実な選択肢です。