Tencent: Hy-MT2-30B-A3B

Tencent: Hy-MT2-30B-A3B es un modelo de texto de Tencent, posicionado como el modelo de traducción insignia de la familia Hy-MT2. Es un modelo de texto de entrada y texto de salida, por lo que recibe prompts como texto y devuelve texto, sin manejo de imágenes ni audio. Si estás incorporando traducción o procesamiento de texto multilingüe en una aplicación, este es el modelo de la familia que Tencent considera su opción principal.

El modelo admite 33 pares de idiomas junto con cinco pares de dialectos chinos y lenguas minoritarias. Más allá de la traducción simple de oraciones, el proveedor describe flujos de trabajo para traducción estructurada, basada en delimitadores, contextual y basada en glosarios, lo que significa que puedes dar forma al formato de salida y proporcionar terminología que el modelo debe seguir. La ventana de contexto es de 8192 tokens, y la salida máxima es de 4096 tokens, por lo que una sola solicitud puede contener un pasaje de origen razonablemente largo más instrucciones y aún dejar espacio para el resultado traducido. Las entradas y las salidas son solo texto.

Esas capacidades apuntan a un conjunto bastante específico de casos de uso. Los flujos de trabajo de localización son el encaje obvio: traducir cadenas de producto, documentación o contenido de soporte en muchos pares de idiomas, con el soporte de glosarios ayudando a mantener consistentes los nombres de producto y los términos de dominio. Los flujos de trabajo basados en delimitadores y estructurados son adecuados para trabajos por lotes en los que envías varios segmentos en una sola solicitud y necesitas que las respuestas estén separadas de forma predecible. La traducción contextual ayuda cuando una oración no se puede traducir bien de forma aislada, como diálogos, texto de interfaz con marcadores de posición o texto que hace referencia a oraciones anteriores. Los pares de dialectos chinos y lenguas minoritarias son útiles para productos y contenido regionales que los modelos de traducción convencionales suelen manejar mal. Como el límite de salida es de 4096 tokens, los documentos largos es mejor dividirlos en fragmentos que enviarlos enteros.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "tencent/hy-mt2-30b-a3b". Como la interfaz sigue la forma de chat completions de OpenAI, puedes apuntar un cliente de OpenAI existente a la URL base de api14 y cambiar el id de modelo, sin otros cambios estructurales. Los parámetros de solicitud admitidos son max_completion_tokens, max_tokens, response_format, stop, structured_outputs y temperature. Usa temperature para controlar cuán literal o variada es la traducción, stop para terminar la generación en una secuencia elegida, y response_format o structured_outputs cuando necesites la respuesta en una forma definida en lugar de texto libre. Ten en cuenta que max_tokens y max_completion_tokens se aceptan ambos, así que elige una convención y mantente consistente.

La principal restricción a tener en cuenta es el tamaño. Con una ventana de contexto de 8192 tokens y un techo de salida de 4096 tokens, este modelo está pensado para pasajes y segmentos en lugar de libros completos en una sola llamada. Si tu tarea es razonamiento general, generación de código o análisis de documentos largos en lugar de traducción, un modelo de texto de propósito general normalmente encajará mejor. Dentro del trabajo de traducción, sin embargo, la cobertura de idiomas, los pares de dialectos y los flujos de trabajo de glosarios y delimitadores son las razones para elegir este modelo en lugar de uno genérico.