Intfloat: Multilingual-E5-Large

Intfloat: Multilingual-E5-Large est un modèle d'embedding d'Intfloat, listé sur api14 dans la catégorie embeddings. Il prend du texte en entrée et renvoie des embeddings en sortie, ce n'est donc pas un modèle de chat ou de génération de texte. Son objectif est de transformer le langage en vecteurs que vous pouvez stocker, comparer et rechercher. Le fournisseur le décrit comme encodant des phrases, des paragraphes et des documents dans plus de 90 langues dans un espace vectoriel dense de 1024 dimensions, avec des embeddings sémantiques optimisés pour la recherche multilingue et la similarité inter-langues.

La fenêtre de contexte est de 512 tokens et la sortie maximale est de 460. Comme l'entrée est du texte et que la sortie est un vecteur plutôt que des mots générés, il n'y a pas de comportement d'échantillonnage à régler : le modèle n'accepte aucun paramètre pris en charge, donc les requêtes contiennent votre entrée et rien d'autre en matière de réglages de génération. La limite de 512 tokens signifie que chaque appel doit être limité à une phrase, un paragraphe court ou un segment de taille similaire, plutôt qu'à un long document transmis en entier.

Les usages pratiques découlent de cette forme. La recherche multilingue est le principal : indexer des documents dans une ou plusieurs langues et les rechercher avec des requêtes dans une autre. La similarité inter-langues vous permet de comparer ou de regrouper du texte écrit dans différentes langues dans le même espace vectoriel. Les travaux associés incluent la recherche sémantique sur un corpus multilingue, la déduplication de passages quasi identiques, le routage ou la classification en fonction de la proximité d'un texte avec des exemples de référence, et la construction de couches de recherche qui alimentent un modèle de génération distinct.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'id de modèle "intfloat/multilingual-e5-large". Comme le point d'accès suit la forme des embeddings OpenAI, les bibliothèques clientes et le code existants qui pointent déjà vers une URL de base compatible OpenAI devraient fonctionner en changeant uniquement l'id de modèle. Envoyez votre texte comme entrée et récupérez le vecteur dans la réponse. Aucun paramètre de requête supplémentaire n'est pris en charge, donc gardez la requête minimale et laissez le modèle renvoyer l'embedding.

Le contexte de 512 tokens est la principale contrainte à prendre en compte. Les documents longs doivent être découpés en segments avant l'embedding, et tout pipeline qui suppose une fenêtre plus grande, ou qui attend du texte généré en retour, aura besoin d'un modèle différent. Si votre tâche est la génération, le résumé ou la conversation plutôt que la représentation, un modèle instruct ou chat sur api14 conviendra mieux ; ce modèle sert à transformer du texte en vecteurs.