BAAI: bge-m3

BAAI: bge-m3 ist ein Embedding-Modell von BAAI, der Beijing Academy of Artificial Intelligence. Es gehört zur Kategorie der Embeddings, was bedeutet, dass es dazu gebaut ist, Text in Vektoren umzuwandeln, statt Chat-Antworten zu erzeugen. Wenn Ihre Anwendung ein Modell benötigt, das Fragen beantwortet oder Text schreibt, ist dies nicht diese Art von Modell; es existiert, um Text numerisch darzustellen, damit andere Systeme ihn vergleichen, durchsuchen und abrufen können.

Das Modell nimmt Text als einzige Eingabe und erzeugt Embeddings als einzige Ausgabe. Laut dem Anbieter kodiert es Sätze, Absätze und lange Dokumente in einen 1024-dimensionalen dichten Vektorraum, mit dem Ziel, hochwertige semantische Embeddings zu liefern. Es ist für mehrsprachigen Abruf, semantische Suche und Anwendungen mit großem Kontext optimiert. Das Kontextfenster beträgt 8194 Token, und die maximale Ausgabe beträgt 7374, sodass recht lange Textpassagen in einer einzigen Anfrage kodiert werden können, statt in viele kleine Fragmente aufgeteilt zu werden.

Diese Fähigkeiten deuten auf eine klare Reihe praktischer Anwendungen hin. Semantische Suche ist die direkteste: Kodieren Sie Ihre Dokumente einmal, kodieren Sie die Benutzeranfrage zur Anfragezeit, und ordnen Sie Dokumente nach Vektorähnlichkeit statt nach Keyword-Überlappung. Retrieval Augmented Generation ist eine weitere, bei der bge-m3 die Abrufhälfte liefert, indem es Passagen findet, die einer Frage semantisch nahe sind, die dann an ein separates generatives Modell weitergegeben werden. Da das Modell mehrsprachig ist, kann derselbe Index Anfragen und Dokumente in verschiedenen Sprachen bedienen, was für cross-linguale Suche, Deduplizierung und Clustering von Textsammlungen geeignet ist. Das lange Kontextfenster hilft auch, wenn ein einzelner Dokumentabschnitt groß ist, da weniger Abschnitte weniger Fragmentierung der Bedeutung über Vektoren bedeuten.

Sie rufen das Modell über die OpenAI-kompatible API von api14 mit der Modell-ID "baai/bge-m3" auf. Da die Schnittstelle dem OpenAI-Format folgt, können Sie einen vorhandenen OpenAI-Client auf die Basis-URL von api14 richten und Ihren Text mit dieser ID an den Embeddings-Endpunkt senden, ohne Ihre Integration umzuschreiben. Das Modell listet keine unterstützten Parameter über das hinaus auf, was der Endpunkt erfordert, halten Sie Anfragen also einfach: Geben Sie den Eingabetext und die Modell-ID an, und lesen Sie die zurückgegebenen Vektoren. Es gibt hier keine Sampling-Steuerungen wie temperature zum Abstimmen, da die Ausgabe deterministische Embedding-Daten statt generierter Token ist.

Eine Sache, die Sie beachten sollten, ist der Umfang. bge-m3 akzeptiert nur Text und gibt nur Embeddings zurück, sodass Aufgaben wie Zusammenfassung, Klassifikation durch Generierung oder konversationelle Antworten ein anderes Modell daneben benötigen. Der Kontext von 8194 Token ist großzügig für Abrufarbeit, aber immer noch endlich, sodass sehr große Dokumente vor der Kodierung aufgeteilt werden sollten. Innerhalb dieser Grenzen ist es eine vernünftige Wahl, wenn Ihr Problem grundsätzlich darum geht, Text darzustellen und zu vergleichen.