Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large は Intfloat の埋め込みモデルで、api14 の embeddings カテゴリに掲載されています。テキストを入力として受け取り、埋め込みを出力として返すため、チャットモデルやテキスト生成モデルではありません。その目的は、言語をベクトルに変換し、保存、比較、検索に使えるようにすることです。プロバイダーはこれを、90 以上の言語にわたる文、段落、文書を 1024 次元の密ベクトル空間にエンコードするものと説明しており、多言語検索と言語間の類似度に合わせて調整された意味的埋め込みを備えています。

コンテキストウィンドウは 512 トークンで、最大出力は 460 です。入力はテキストで、出力は生成された単語ではなくベクトルであるため、調整すべきサンプリング動作はありません。このモデルは supported parameters を受け付けないので、リクエストには入力のみが含まれ、生成設定に相当するものは他にありません。512 トークンの上限は、呼び出しごとを文、短い段落、または同程度のサイズのチャンクに限定すべきことを意味し、長い文書をそのまま渡すべきではありません。

実用的な用途はこの形から導かれます。主な用途は多言語検索です。1 つまたは複数の言語で文書をインデックス化し、別の言語のクエリで検索します。言語間の類似度により、異なる言語で書かれたテキストを同じベクトル空間で比較またはクラスタリングできます。関連する作業には、混合言語コーパスに対するセマンティック検索、ほぼ同一の passage の重複排除、テキストが参照例にどれだけ近いかに基づくルーティングや分類、別の生成モデルに供給する検索レイヤーの構築が含まれます。

これは api14 の OpenAI 互換 API を通じて、モデル id "intfloat/multilingual-e5-large" を使って呼び出します。エンドポイントは OpenAI embeddings の形に従っているため、すでに OpenAI 互換の base URL を指している既存のクライアントライブラリやコードは、モデル id を変更するだけで動作するはずです。テキストを input として送信し、レスポンスからベクトルを読み取ります。追加のリクエストパラメータはサポートされていないため、リクエストは最小限に保ち、モデルに埋め込みを返させてください。

512 トークンのコンテキストが、計画時に考慮すべき主な制約です。長い文書は埋め込み前にチャンクに分割する必要があり、より大きなウィンドウを前提とするパイプラインや、生成されたテキストが返ることを期待するパイプラインには、別のモデルが必要です。タスクが表現ではなく生成、要約、会話である場合、api14 の instruct モデルまたは chat モデルの方が適しています。このモデルはテキストをベクトルに変換するためのものです。