Meta: Llama 3.1 70B Instruct は Meta のテキストモデルで、2024-07-23 にリリースされました。Qwen2.5 72B Instruct は Qwen のテキストモデルで、2024-09-19 にリリースされました。どちらもほぼ同じ重量級に位置し、パラメータ数はおよそ 700 億で、どちらもチャットおよび汎用アシスタント作業向けに指示チューニングされています。どちらも小規模モデルではないため、安価な大量処理の主力というより、強力な汎用言語挙動を求める開発者向けです。
最も明確な違いはコンテキストです。Llama 3.1 70B Instruct は最大 131072 トークンを受け入れ、これは Qwen2.5 72B Instruct の 32768 トークンウィンドウの 4 倍です。プロンプトに長い文書、大規模なコードベース、長い文字起こし、または多数の取得チャンクが含まれる場合、この差は重要であり、入力を収められるのは Llama です。モダリティについては両者は同一です。テキスト入力、テキスト出力で、どちらも画像や音声の処理はありません。対応パラメータ一覧も完全に一致するため、両方とも temperature、top_p、top_k、min_p、repetition_penalty、frequency_penalty、presence_penalty、logit_bias、seed、stop、max_tokens、response_format、structured_outputs、tools、tool_choice を公開しています。その一覧において一方にしかない機能はないため、選択は機能対応の有無で決まるものではありません。
実用的な選択では、まず入力サイズから始めてください。長いコンテキストの検索、ファイル全体のレビュー、複数文書の要約、およびそうしなければ積極的にチャンク分割するようなものは、単にウィンドウがより大きいという理由で Llama 3.1 70B Instruct を指します。チャットのターン、単一の関数呼び出し、分類、1 段落か 2 段落からの抽出、各リクエストが小さいエージェントのステップなど、より短く範囲が明確なタスクでは、Qwen2.5 72B Instruct は妥当なデフォルトであり、入力については 2 つのうち安価な方です。出力の価格は両方ともほぼ同じなので、コスト差が現れるのは入力側です。ワークロードが主に短いプロンプトなら、Qwen のこの入力面の利点が積み上がります。プロンプトが長いなら、Llama のより大きなウィンドウによってリクエストを分割せずに済む可能性があり、これはトークン単価よりも重要になることがあります。
どちらのモデルも api14 を通じて呼び出す方法は同じです。API が OpenAI 互換だからです。既存の OpenAI クライアントを api14 のベース URL に向け、キーを送信し、model フィールドを設定します。Llama を使うには、model id を meta-llama/llama-3.1-70b-instruct に設定します。Qwen を使うには、qwen/qwen-2.5-72b-instruct に設定します。リクエスト本文のその他すべて、messages、temperature、max_tokens、tools、response_format などはそのままです。2 つの切り替えは 1 行の変更なので、両方を自分のプロンプトに対してベンチマークし、統合を書き直すことなくルートごとまたはタスクごとに選べます。
コンテキストが厳しくない場合でも Qwen2.5 72B Instruct が依然としてより良い選択となるケースが 1 つあります。入力のコストが決め手で、プロンプトが 32768 トークン内に余裕をもって収まる場合です。その状況では、Llama のより大きなウィンドウは使うことのないものを買わせるだけであり、Qwen がより安価な入力オプションです。逆に、より長い入力へと成長することを少しでも見込むなら、Llama 3.1 70B Instruct は後で再度移行することなく余裕を提供します。