VoyageAI by MongoDB: voyage-4

voyage-4 は Voyage AI の汎用埋め込みモデルです。Voyage AI は現在 MongoDB の一部となっている Voyage 埋め込みファミリーを手がける企業です。これは api14 上にモデル id voyageai/voyage-4 で掲載されており、embeddings カテゴリに属するため、チャット応答を生成するのではなく、テキストをベクトルに変換するために作られています。検索やサーチシステム向けに埋め込みモデルを選ぶなら、これは他の汎用埋め込みの選択肢と並べて評価する種類のモデルです。

このモデルはテキストを入力として受け取り、埋め込みを出力として返します。汎用かつ多言語対応と説明されており、検索やサーチをはじめとする他の AI アプリケーション向けに最適化されています。2048、1024、512、256 次元の埋め込みに対応し、さらに複数の量子化オプションもあるため、インデックスに応じてベクトルサイズとストレージや検索特性をトレードオフできます。コンテキスト長は 32000 トークン、最大出力は 28800 なので、長い文書も多数の小さな断片に分割せずに埋め込めます。

これらの機能は、かなり特定の用途群を示しています。主な用途は検索とサーチです。文書コレクションをインデックス化し、クエリを埋め込み、ベクトル類似度で比較します。モデルが多言語対応なので、言語が混在するコレクションやクエリにも適しており、複数の出力次元と量子化オプションに対応するため、高忠実度のインデックスと、より小さくコンパクトなインデックスの両方に使えます。一般的なアプリケーションには、検索拡張生成パイプライン、社内ドキュメントに対するセマンティック検索、テキストの重複排除やクラスタリング、生成テキストではなく埋め込みを扱う推薦や分類システムなどがあります。

これは api14 の OpenAI 互換 API を通じて、モデル id voyageai/voyage-4 を使って呼び出し、テキストを送信して応答で埋め込みを受け取ります。このモデルの対応パラメータ一覧は空なので、temperature や top_p などのサンプリング制御を渡せるとは期待しないでください。リクエストは基本的に入力テキストとモデル id です。次元と量子化の選択は、ここで公開されているリクエストパラメータではなく、モデルの埋め込み挙動の一部なので、特定のベクトルサイズを前提に構築する前に、それらをどのように選択するかについて現在の API リファレンスを確認してください。

留意すべき点の 1 つは、これがチャットや補完のモデルではなく埋め込みモデルであることです。タスクがテキスト生成、要約、会話であるなら、テキスト生成モデルが適しており、voyage-4 は検索パイプラインの補助コンポーネントとしてのみ有用です。またテキストのみを受け取るため、他のモダリティの入力は対象外です。その範囲内では、埋め込み次元を制御したい検索やサーチの作業において、妥当な候補です。