Google: Gemma 2 27B

Google Gemma 2 27Bは、Googleによるオープンなテキストモデルで、Geminiモデルの作成に使われたのと同じ研究と技術から構築されています。Gemma 2ファミリーに属し、27Bパラメータはそのラインで最大のバリアントです。このモデルはプロバイダーによって2024年7月13日にリリースされ、知識カットオフは2024年6月30日であるため、それ以降のものはトレーニング中に学習した範囲外です。

これはテキスト入力、テキスト出力のモデルです。コンテキストウィンドウは8192トークンで、最大出力は2048トークンです。この組み合わせがプロンプトの計画方法を形作ります。長い文書、大きなコードファイル、または拡張されたチャット履歴は、指示とともに8192トークンの予算内に収まる必要があり、返答自体は2048トークンに制限されます。ここには画像、音声、その他の入力モダリティはないため、送信するものはすべてプレーンテキストでなければなりません。

実用的な用途はそのプロファイルから導かれます。チャットアシスタント、プロンプトに貼り付けた資料に対する質問応答、コンテキストウィンドウに収まる記事やレポートの要約、下書きと書き直し、分類と抽出タスク、出力制限内でのコードの説明または生成に適しています。これは指示チューニングされたモデルであるため、すべてのリクエストに少数例の例示を必要とせず、直接的なタスク記述に応答します。構造化出力のサポートにより、返答をスキーマに準拠させる必要がある場合、たとえばサポートチケットや製品説明からJSONへフィールドを抽出する場合にも妥当な選択肢となります。

モデルID「google/gemma-2-27b-it」を使用して、api14のOpenAI互換APIを通じて呼び出します。インターフェースはOpenAIのchat completionsの形に従っているため、既存のOpenAIクライアントをapi14に向け、モデル文字列を変更できます。サポートされているリクエストパラメータは、frequency_penalty、max_tokens、presence_penalty、repetition_penalty、response_format、seed、stop、structured_outputs、temperature、top_pです。実際には、temperatureとtop_pを設定してサンプリングを制御し、max_tokensを使用して返答を2048出力制限内に収め、stopシーケンスを適用して生成をきれいに終了させ、再現可能な結果が必要な場合はseedを使用します。ペナルティパラメータは繰り返される言い回しを減らすのに役立ち、response_formatとstructured_outputsは出力が定義された構造に従う必要があるケースをカバーします。

検討すべき主な制約はコンテキストウィンドウです。8192トークンでは、現在の多くのモデルが提供するものより小さいため、非常に長い文書、大規模なリポジトリ、または長時間実行される会話に依存するワークロードでは、チャンク化、検索、またはより大きなウィンドウを持つモデルが必要になる場合があります。2048トークンの出力上限も同様に、非常に長い単一の応答を排除します。タスクがこれらの範囲内に収まり、指示追従と構造化出力のサポートを備えたオープンなGoogleモデルを求めるなら、Gemma 2 27Bは、すでに使用している同じAPIサーフェスを通じて試せる素直な選択肢です。