Qwen: Qwen2.5 7B Instruct

Qwen2.5 7B Instructは、Alibaba Cloudが開発した大規模言語モデルシリーズであるQwenのテキスト生成モデルです。Qwen2.5ファミリーに属しており、プロバイダーによれば、Qwen2と比べて知識量が大幅に増え、コーディング能力も大きく向上しているとのことです。このモデルは2024年10月16日にプロバイダーからリリースされ、知識カットオフは2024年6月30日であるため、それ以降に起きたことはトレーニング中に学習した範囲外となります。

このモデルは入力と出力の両方でテキストのみを扱います。テキストプロンプトを受け取り、テキストの補完を返します。コンテキストウィンドウは32,768トークン、最大出力は29,491トークンです。この組み合わせにより、かなり長いドキュメント、文字起こし、コードファイルを1回のリクエストで送信しても、十分な応答のための余裕を残せます。これは指示チューニング済みのモデルであるため、単にテキストを続けるのではなく、プロンプトで与えられた指示に従うように設計されています。

コーディングの改善と一般的な知識により、このモデルはコード生成、コードの説明とリファクタリング、長いドキュメントに対する質問応答、長文の要約、コンテンツの下書きや書き直しなどのタスクに適しています。指示チューニングにより、チャット形式のアシスタントや、プロンプトでタスクを説明する抽出や分類のジョブにも合理的に適合します。32,768トークンのコンテキストは、推論する必要がある資料が長い場合、たとえば完全なソースファイルや複数ページのレポートなどに有用で、多くの場合チャンクに分割する必要を避けられます。

モデルは、モデルID「qwen/qwen-2.5-7b-instruct」を使用して、api14のOpenAI互換APIを通じて呼び出します。リクエストはOpenAI chat completionsインターフェースと同じ形式に従うため、既存のOpenAIクライアントライブラリとコードを最小限の変更でapi14に向けられます。このモデルは幅広いリクエストパラメータをサポートしています: frequency_penalty、max_tokens、min_p、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、tool_choice、tools、top_k、top_pです。ツール呼び出しと構造化出力の両方が利用可能で、つまり定義した関数をモデルに呼び出させたり、出力をスキーマに制約したりできます。またseedパラメータにより、実行間で一貫した結果が必要なときにサンプリングをより再現可能にできます。

リクエストを設計するときはコンテキスト制限に注意してください。32,768トークンはかなり多くのものをカバーしますが、非常に大きなコードベースや本一冊分の入力では、モデルの前段でチャンク化や検索が必要になります。このモデルはテキストのみであるため、アプリケーションが画像や音声を処理する必要がある場合、適切な選択ではありません。より大きなコンテキストウィンドウや難しい問題に対するより強力な推論が必要な場合は、Qwen2.5ラインのより大きなモデルや別のファミリーの方が適しているかもしれません。一方、この7Bバリアントは、中規模モデルで十分な日常的な生成、コーディング支援、テキスト処理において実用的な選択肢であり続けます。