Intfloat: E5-Large-v2

Intfloat: E5-Large-v2 は Intfloat の埋め込みモデルです。これは埋め込みカテゴリに属しており、つまりチャット応答を生成するのではなく、テキストをベクトルに変換することを役割としています。プロバイダーはこれを、英語の文、段落、文書を 1024 次元の密ベクトル空間にマッピングするものと説明しており、高精度な意味的埋め込みを目的としています。アプリケーションが、書かれた回答ではなく意味を捉えたテキストの表現を必要とするなら、これはまさに手に取るような種類のモデルです。

このモデルは、唯一の入力モダリティとしてテキストを受け取り、唯一の出力モダリティとして埋め込みを生成します。コンテキスト長は 512 トークンなので、各リクエストはかなり短い範囲のテキストに制限され、最大出力は 460 です。画像、音声、その他の非テキスト入力はなく、出力側に生成された文章もありません。モデルが返すものはすべてベクトルであり、それを保存したり、比較したり、パイプラインの別の段階に渡したりします。

これらの特性は、特定の用途群を示しています。最も明確なのは検索です。文書を一度埋め込み、リクエスト時にクエリを埋め込み、ベクトルを比較して最も近い箇所を見つけます。セマンティック検索も同じ仕組みで、完全一致のキーワードではなく意味に基づいて照合します。プロバイダーは再ランキングと類似度スコアリングも挙げているので、ベクトルを使って候補結果を並べ替えたり、2 つのテキストがどれだけ近いかを測定したりできます。ベクトルは 1024 次元で密であるため、ベクトルインデックスへの保存や、コサイン類似度または内積による比較に適しています。

このモデルは、モデル id "intfloat/e5-large-v2" を使用して api14 の OpenAI 互換 API を通じて呼び出します。エンドポイントが OpenAI 形式に従っているため、既存の OpenAI クライアントを api14 に向け、通常どおりテキストを送信し、応答から埋め込みを読み取ることができます。このモデルは追加のリクエストパラメータをサポートしていないため、標準のリクエストフィールド以外に設定するものはありません。各入力は 512 トークンのコンテキスト長内に収め、出力は埋め込みそのものであると想定してください。

計画時に考慮すべき主な制約は、この 512 トークンのウィンドウです。長い文書は埋め込み前にチャンクへ分割する必要があり、それらのチャンクベクトルをどのように結合または保存するかを決めなければなりません。また、プロバイダーの説明によればこのモデルは英語に焦点を当てているため、他の言語のテキストは同じようには信頼性高く埋め込まれない可能性があります。タスクがテキスト生成、会話、または書かれた応答を必要とするものであるなら、埋め込みモデルは間違ったツールであり、生成モデルの方が適しています。