Amazon Titan Text Embeddings V2 est un modèle d'embedding de texte d'Amazon, listé sur api14 sous l'identifiant de modèle amazon/titan-embed-text-v2. Il appartient à la catégorie embeddings, donc son rôle est de transformer du texte en vecteurs plutôt que de générer de la prose ou de tenir une conversation. Si votre application a besoin d'une représentation numérique du texte qui capture le sens sémantique, c'est le type de modèle vers lequel vous vous tournez.
Le modèle prend du texte comme seule entrée et renvoie des embeddings comme sortie. Il accepte jusqu'à 8 192 tokens par entrée, ce qui laisse suffisamment de place pour une longue section de document, un article complet ou un bloc conséquent d'une entrée de base de connaissances sans devoir le découper au préalable. Les vecteurs qu'il renvoie sont normalisés et ont 1 024 dimensions, vous pouvez donc les comparer directement avec la similarité cosinus ou le produit scalaire sans étapes de normalisation supplémentaires. La sortie maximale est de 7 372.
Ces caractéristiques indiquent quelques usages pratiques. La génération augmentée par récupération est l'évidence : intégrez vos documents une fois, intégrez la requête de l'utilisateur au moment de la requête, et récupérez les blocs les plus proches à fournir à un modèle de génération. La recherche sémantique sur des catalogues de produits, des tickets de support ou de la documentation interne fonctionne de la même manière, et elle gère les paraphrases que la recherche par mots clés manquerait. Le clustering et la découverte de sujets bénéficient des vecteurs à 1 024 dimensions fixes, puisque vous pouvez exécuter k-means ou des algorithmes similaires directement dessus. La déduplication et la détection de quasi-doublons sont également des cas naturels, tout comme la construction d'une couche de recommandation qui fait correspondre les éléments par le sens plutôt que par les étiquettes.
Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle amazon/titan-embed-text-v2, donc tout client qui parle déjà le format embeddings d'OpenAI fonctionnera avec des changements minimes. Pointez votre URL de base vers api14, passez votre clé api14, et envoyez votre texte au point de terminaison embeddings avec cet identifiant de modèle. Le modèle ne prend en charge aucun paramètre de requête supplémentaire au-delà de ce que le point de terminaison exige, donc gardez votre requête simple et évitez de passer des options de réglage qui ne seront pas honorées. Comme c'est un modèle d'embedding, il n'accepte pas les messages de style chat et ne renvoie pas de texte généré.
Une chose à garder à l'esprit est que ce modèle ne traite que du texte. Si votre entrée inclut des images, de l'audio ou d'autres modalités, vous aurez besoin d'un modèle différent. De même, si vous avez besoin d'un assistant qui écrit des réponses plutôt que de représenter du texte numériquement, un modèle d'embedding est le mauvais outil, et vous associeriez plutôt celui-ci à un modèle de génération. Dans son périmètre, cependant, il couvre les tâches de récupération, de recherche et de clustering avec une fenêtre de contexte suffisamment grande pour la plupart des blocs de documents.