Thenlper: GTE-Large

Thenlper: GTE-Large は Thenlper の埋め込みモデルで、api14 にモデル ID thenlper/gte-large として掲載されています。これは埋め込みカテゴリに属しており、つまりその役割はチャットの返信を生成することではなく、テキストを保存、比較、検索できるベクトルに変換することです。アプリケーションが自由形式の生成ではなく意味的類似性に依存しているなら、これは評価対象となる種類のモデルです。

このモデルはテキスト入力を受け取り、出力として埋め込みを生成します。プロバイダーの説明によると、英語の文、段落、中程度の長さの文書を 1024 次元の密ベクトル空間に変換し、情報検索、意味的テキスト類似性、再ランキングに最適化された高品質な意味埋め込みを目標として掲げています。コンテキストウィンドウは 512 トークンで、最大出力は 460 です。入力モダリティはテキストのみであるため、ここに画像や音声の処理はなく、出力は文章ではなくベクトルです。

これらの機能は、かなり特定のユースケース群を示しています。情報検索は明らかでしょう。文書を一度埋め込み、リクエスト時にユーザークエリを埋め込み、ベクトル類似性でランク付けします。意味的テキスト類似性は直接それに続き、重複排除、クラスタリング、語彙がほとんど重ならない言い換えのマッチングに有用です。再ランキングもプロバイダーの説明で挙げられているため、より安価な第一段階の検索器が生成した候補リストを再スコアリングするためにこのモデルを使用できます。512 トークンのコンテキストは文、段落、中程度の長さの文書に適しているため、長い素材を埋め込む前にチャンク分割することが想定されるパターンです。

これは api14 の OpenAI 互換 API を通じて、モデル ID thenlper/gte-large を使用して呼び出します。API は OpenAI 形式に従っているため、既存のクライアントを api14 のベース URL に向け、リクエストでその ID を渡します。このモデルの対応パラメータ一覧は空であるため、エンドポイントが要求するもの以外に設定する追加のリクエストパラメータはありません。テキストを送信し、レスポンスから埋め込みを読み取ります。リクエスト側で調整するものは何もなく、既に埋め込みパイプラインがある場合の統合は簡単に保たれます。

計画上考慮すべき主な制約は 512 トークンのコンテキストウィンドウです。長い文書はチャンクに分割する必要があり、検索設計はそれを考慮しなければなりません。このモデルは英語テキストを扱うと説明されているため、他の言語はプロバイダーの説明が対象とする範囲外です。また、埋め込みのみを生成するため、単独で質問に答えたりテキストを書いたりすることはできません。生成が必要な場合は、このモデルを単独で使用するのではなく、別の言語モデルと組み合わせることになります。