Sentence Transformers: all-mpnet-base-v2

Sentence Transformers : all-mpnet-base-v2 est un modèle d'embedding issu de Sentence Transformers, une famille de modèles conçus pour transformer du texte en vecteurs. Il appartient à la catégorie des embeddings, ce qui signifie qu'il est conçu pour produire des représentations de texte plutôt que pour générer du texte lui-même. Le modèle encode des phrases et de courts paragraphes dans un espace vectoriel dense de 768 dimensions, et il est présenté par son fournisseur comme une option haute fidélité pour les tâches sémantiques.

En entrée, le modèle accepte uniquement du texte. En sortie, il renvoie des embeddings plutôt que des mots ou des messages de chat, donc il ne faut pas s'attendre à ce qu'il réponde à des questions ou tienne une conversation. La longueur de contexte est de 512 tokens, et la sortie maximale est de 460. Ces deux chiffres comptent en pratique : la fenêtre de 512 tokens couvre une phrase ou un court paragraphe, et tout texte plus long doit être découpé avant l'envoi. L'embedding renvoyé est un vecteur de 768 dimensions.

Ces capacités correspondent à un ensemble d'usages assez spécifiques. La recherche d'information est un cas naturel, où l'on encode une requête et un corpus puis on les compare. Le clustering en est un autre, car des phrases proches dans l'espace de 768 dimensions appartiennent souvent au même sujet. Le calcul de similarité en découle directement, par exemple pour classer des passages candidats par rapport à une référence, ou pour détecter du texte quasi dupliqué. Comme le modèle traite des phrases et de courts paragraphes, ces tâches fonctionnent mieux lorsque chaque entrée encodée est courte et autonome.

Vous l'appelez via l'API compatible OpenAI d'api14, en utilisant l'id de modèle "sentence-transformers/all-mpnet-base-v2". Comme l'interface suit la forme des embeddings OpenAI, les clients et bibliothèques existants qui ciblent ce point de terminaison peuvent être pointés vers api14 sans traitement particulier. Notez que ce modèle ne liste aucun paramètre pris en charge, donc le corps de la requête doit contenir l'id du modèle et le texte d'entrée, et vous ne devez pas compter sur l'application de réglages optionnels tels que dimensions ou encoding format.

Le contexte de 512 tokens et la limite de sortie de 460 constituent les principales limites pratiques ici. Si votre texte est plus long qu'une phrase ou qu'un court paragraphe, découpez-le en segments et encodez chacun d'eux, puis combinez les résultats. Et si ce dont vous avez réellement besoin est du texte généré plutôt que des vecteurs, un modèle de chat génératif conviendra mieux ; ce modèle ne produit que des embeddings.