BAAI: bge-base-en-v1.5

BAAI: bge-base-en-v1.5 は、北京人工知能アカデミーである BAAI の埋め込みモデルです。これは embeddings カテゴリに属します。つまり、チャットの返信を生成したりテキストを補完したりするために作られたものではありません。代わりに、テキストを数値ベクトルに変換します。これは英語のモデルであり、名前の v1.5 はこれが bge-base-en ファミリーの 1.5 バージョンであることを示します。アプリケーションが汎用チャットアシスタントを必要とするなら、これはその種のモデルではありません。アプリケーションが意味によってテキストを比較、検索、または照合する必要があるなら、これは評価すべき種類のモデルです。

このモデルはテキストを入力として受け取り、埋め込みを出力として生成します。具体的には、英語の文と段落を 768 次元の密ベクトルに変換し、それらは意味的な内容を運ぶことを意図しています。コンテキスト長は 512 トークンで、最大出力は 460 です。実際には、512 トークンは長い文書ではなく文または単一の段落を送るべきであることを意味します。長い素材は埋め込む前に分割する必要があるからです。プロバイダーは、このモデルを検索、セマンティック検索、文書照合のワークフローに最適化された、効率的で高品質なセマンティック埋め込みを提供するものと説明しています。ベクトルは密であるため、大規模に保存および比較するのに十分コンパクトです。

これらの特性は、かなり特定のユースケース群を示しています。セマンティック検索が最も明確です。クエリと文書を埋め込み、キーワードの重複ではなくベクトル類似度で文書をランク付けします。検索パイプラインは同じ動作を使用して、質問に関連する箇所を取得できます。文書照合も適合します。たとえば、ほぼ重複するレコードの検出、類似したサポートチケットのグループ化、2 つのコレクション間で関連項目をリンクすることです。モデルは英語のみで 512 トークンに制限されているため、文と段落レベルのタスクに適しています。短い英語テキストでの重複排除、クラスタリング、類似度スコアリングはすべて自然に適合しますが、より長い入力を最初にチャンク化する必要があります。

このモデルは、モデル id "baai/bge-base-en-v1.5" を使用して api14 の OpenAI 互換 API を通じて呼び出します。API は OpenAI 形式に従っているため、既存の OpenAI クライアントを api14 に向け、テキストを embeddings エンドポイントに送信し、応答でベクトルを受け取ることができます。このモデルで一覧表示されているサポート対象パラメータは空であるため、リクエストにすでに含まれているもの以外に追加の調整オプションはありません。temperature や top_p のような設定項目はありません。それらは埋め込みではなくテキスト生成に属するものだからです。現在の料金については、このページのライブ価格表を確認してください。

留意すべき主な制約は、512 トークンのコンテキスト長、最大出力 460、英語のみの入力、そして出力が散文ではなくベクトルであるという事実です。長い文書を 1 回で埋め込む必要がある場合、複数言語を扱う必要がある場合、またはテキストを生成する必要がある場合は、api14 上の別のモデルの方がより適しています。想定された範囲、つまり英語の文と段落での検索、セマンティック検索、文書照合においては、このモデルは直接的な選択肢です。