Tencent: Hy-MT2-30B-A3B

Tencent : Hy-MT2-30B-A3B est un modèle de texte de Tencent, positionné comme le modèle de traduction phare de la famille Hy-MT2. C'est un modèle texte entrant, texte sortant, il prend donc des prompts sous forme de texte et renvoie du texte, sans traitement d'image ni d'audio. Si vous intégrez de la traduction ou du traitement de texte multilingue dans une application, c'est le modèle de la famille que Tencent considère comme son option principale.

Le modèle prend en charge 33 paires de langues ainsi que cinq paires de dialectes chinois et de langues minoritaires. Au-delà de la simple traduction de phrases, le fournisseur décrit des workflows de traduction structurée, basée sur des délimiteurs, contextuelle et basée sur un glossaire, ce qui signifie que vous pouvez façonner le format de sortie et fournir une terminologie que le modèle doit suivre. La fenêtre de contexte est de 8192 tokens, et la sortie maximale est de 4096 tokens, une seule requête peut donc contenir un passage source raisonnablement long plus des instructions tout en laissant de la place pour le résultat traduit. Les entrées et les sorties sont uniquement du texte.

Ces capacités correspondent à un ensemble de cas d'usage assez spécifique. Les pipelines de localisation sont le choix évident : traduire des chaînes produit, de la documentation ou du contenu de support dans de nombreuses paires de langues, avec la prise en charge du glossaire qui aide à garder les noms de produits et les termes métier cohérents. Les workflows basés sur des délimiteurs et structurés conviennent aux traitements par lots où vous envoyez plusieurs segments dans une seule requête et avez besoin que les réponses soient séparées de manière prévisible. La traduction contextuelle aide lorsqu'une phrase ne peut pas être bien traduite isolément, comme des dialogues, des textes d'interface avec des espaces réservés, ou du texte qui renvoie à des phrases précédentes. Les paires de dialectes chinois et de langues minoritaires sont utiles pour les produits et contenus régionaux que les modèles de traduction grand public traitent souvent mal. Comme la limite de sortie est de 4096 tokens, les documents longs gagnent à être découpés en morceaux plutôt qu'envoyés en entier.

Vous appelez le modèle via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "tencent/hy-mt2-30b-a3b". Comme l'interface suit la forme des chat completions d'OpenAI, vous pouvez pointer un client OpenAI existant vers l'URL de base d'api14 et changer l'identifiant de modèle, sans autre modification structurelle. Les paramètres de requête pris en charge sont max_completion_tokens, max_tokens, response_format, stop, structured_outputs et temperature. Utilisez temperature pour contrôler le caractère littéral ou varié de la traduction, stop pour terminer la génération à une séquence choisie, et response_format ou structured_outputs lorsque vous avez besoin d'une réponse dans une forme définie plutôt qu'en texte libre. Notez que max_tokens et max_completion_tokens sont tous deux acceptés, choisissez donc une convention et restez cohérent.

La principale contrainte à anticiper est la taille. Avec une fenêtre de contexte de 8192 tokens et un plafond de sortie de 4096 tokens, ce modèle est conçu pour des passages et des segments plutôt que pour des livres entiers en un seul appel. Si votre tâche est du raisonnement général, de la génération de code ou de l'analyse de documents longs plutôt que de la traduction, un modèle de texte polyvalent conviendra généralement mieux. Dans le cadre du travail de traduction, cependant, la couverture linguistique, les paires de dialectes, et les workflows de glossaire et de délimiteurs sont les raisons de choisir ce modèle plutôt qu'un modèle générique.