BAAI: bge-m3

BAAI : bge-m3 est un modèle d'embedding de BAAI, la Beijing Academy of Artificial Intelligence. Il appartient à la catégorie des embeddings, ce qui signifie qu'il est conçu pour transformer du texte en vecteurs plutôt que pour générer des réponses de chat. Si votre application a besoin d'un modèle qui répond à des questions ou rédige du texte, ce n'est pas ce type de modèle ; il existe pour représenter le texte numériquement afin que d'autres systèmes puissent le comparer, le rechercher et le récupérer.

Le modèle prend du texte comme seule entrée et produit des embeddings comme seule sortie. Selon le fournisseur, il encode des phrases, des paragraphes et de longs documents dans un espace vectoriel dense de 1024 dimensions, dans le but de fournir des embeddings sémantiques de haute qualité. Il est optimisé pour la recherche multilingue, la recherche sémantique et les applications à grand contexte. La fenêtre de contexte est de 8194 tokens, et la sortie maximale est de 7374, de sorte que des passages de texte assez longs peuvent être encodés en une seule requête plutôt que d'être découpés en nombreux petits fragments.

Ces capacités indiquent un ensemble clair d'usages pratiques. La recherche sémantique est la plus directe : encodez vos documents une fois, encodez la requête de l'utilisateur au moment de la requête, et classez les documents par similarité vectorielle plutôt que par recouvrement de mots-clés. La génération augmentée par récupération en est un autre, où bge-m3 fournit la moitié récupération en trouvant des passages sémantiquement proches d'une question, qui sont ensuite transmis à un modèle génératif distinct. Comme le modèle est multilingue, le même index peut servir des requêtes et des documents dans différentes langues, ce qui convient à la recherche interlingue, à la déduplication et au regroupement de collections de textes. La longue fenêtre de contexte aide aussi lorsqu'un segment de document unique est volumineux, car moins de segments signifie moins de fragmentation du sens entre les vecteurs.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "baai/bge-m3". Comme l'interface suit le format OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et envoyer votre texte au point de terminaison des embeddings avec cet identifiant, sans réécrire votre intégration. Le modèle ne liste aucun paramètre pris en charge au-delà de ce que le point de terminaison exige, donc gardez les requêtes simples : fournissez le texte d'entrée et l'identifiant de modèle, et lisez les vecteurs renvoyés. Il n'y a pas de contrôles d'échantillonnage tels que la température à régler ici, puisque la sortie est une donnée d'embedding déterministe plutôt que des tokens générés.

Une chose à garder à l'esprit est la portée. bge-m3 n'accepte que du texte et ne renvoie que des embeddings, donc des tâches comme le résumé, la classification par génération ou les réponses conversationnelles nécessitent un autre modèle en complément. Le contexte de 8194 tokens est généreux pour le travail de récupération mais reste fini, donc les documents très volumineux doivent être découpés avant l'encodage. Dans ces limites, c'est un choix raisonnable lorsque votre problème consiste fondamentalement à représenter et comparer du texte.