Qwen2.5 72B Instruct

Qwen2.5 72B Instructは、Alibaba Cloudが開発した大規模言語モデルシリーズであるQwenのテキスト生成モデルです。これはQwen2.5ファミリーに属しており、プロバイダーはQwen2と比較して大幅に多くの知識をもたらし、コーディング能力も大きく向上したと説明しています。このモデルは2024年9月19日にプロバイダーからリリースされ、学習知識は2024年6月30日のカットオフまでです。テキストカテゴリに位置し、指示調整済みモデルとして位置づけられています。つまり、生の続きを生成するのではなく、プロンプトに従って直接的な応答を生成するように設計されています。

このモデルは入力としてテキストを受け取り、出力としてテキストを返すため、言語で表現できるあらゆるタスクに適しています。コンテキストウィンドウは32,768トークンで、1回のリクエストでかなりの量の資料を扱うことができ、最大出力長は16,384トークンです。この組み合わせは、複数文書の要約、長いコードファイル、詳細な指示など、回答自体も長くなる可能性がある長いプロンプトに適しています。両側ともテキストのみがサポートされているため、このモデルは画像、音声、その他のモダリティを処理しません。

これらの機能は、かなり幅広い実用的用途を示しています。指示追従性とコーディングへの重点により、コード生成、リファクタリング、デバッグ支援、既存コードの説明に適しています。大きなコンテキストウィンドウは、複数のソース文書をプロンプトに貼り付け、それらを統合したり質問に答えたりする検索型ワークフローを支えます。また、文章の下書きや編集、テキストからの構造化抽出、分類と要約、トークン予算内で長い対話の流れを保持する必要がある会話アシスタントにも適しています。

モデルID「qwen/qwen-2.5-72b-instruct」を使用して、api14のOpenAI互換APIを通じてこのモデルを呼び出すことができます。インターフェースはOpenAI chat completionsの形式に従っているため、既存のOpenAI SDKやクライアントは通常、ベースURLとキーを変更するだけで動作します。このモデルは幅広いリクエストパラメータをサポートしています: frequency_penalty、logit_bias、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_pです。したがって、ツール呼び出しと構造化出力を直接利用できます。これは、自由なテキストではなくJSONを返したり関数を呼び出したりする必要がある場合に便利です。

コミットする前に検討すべきいくつかの制約があります。32,768トークンのコンテキストは十分に大きいですが無制限ではないため、非常に大きなコードベースや長い文書セットでは、単一のプロンプトではなくチャンク分割や検索が必要になる場合があります。2024年6月30日の知識カットオフにより、それより新しいものはプロンプト自体から提供する必要があります。ワークロードがテキストベースでない場合、このモデルは画像や音声入力を持たないため役に立ちません。これらの範囲内に収まるタスクでは、強力なパラメータ制御を備えた有能な汎用テキストモデルを提供します。