Tencent: Hy-MT2-30B-A3B

Tencent: Hy-MT2-30B-A3B é um modelo de texto da Tencent, posicionado como o modelo de tradução principal da família Hy-MT2. É um modelo de texto para texto, portanto recebe prompts como texto e retorna texto, sem processamento de imagem ou áudio. Se você está incorporando tradução ou processamento de texto multilíngue em uma aplicação, este é o modelo da família que a Tencent trata como sua opção principal.

O modelo suporta 33 pares de idiomas, além de cinco pares de dialetos chineses e línguas minoritárias. Além da tradução simples de frases, o provedor descreve fluxos de trabalho para tradução estruturada, baseada em delimitadores, contextual e baseada em glossário, o que significa que você pode moldar o formato de saída e fornecer terminologia que o modelo deve seguir. A janela de contexto é de 8192 tokens, e a saída máxima é de 4096 tokens, então uma única requisição pode conter uma passagem de origem razoavelmente longa mais instruções e ainda deixar espaço para o resultado traduzido. As entradas e saídas são somente texto.

Essas capacidades apontam para um conjunto bastante específico de casos de uso. Pipelines de localização são o encaixe óbvio: traduzir strings de produto, documentação ou conteúdo de suporte em muitos pares de idiomas, com o suporte a glossário ajudando a manter nomes de produtos e termos de domínio consistentes. Fluxos de trabalho baseados em delimitadores e estruturados são adequados para jobs em lote, nos quais você envia vários segmentos em uma requisição e precisa que as respostas sejam separadas de forma previsível. A tradução contextual ajuda quando uma frase não pode ser bem traduzida isoladamente, como em diálogos, textos de interface com placeholders ou texto que se refere a frases anteriores. Os pares de dialetos chineses e línguas minoritárias são úteis para produtos e conteúdos regionais que modelos de tradução convencionais costumam tratar mal. Como o limite de saída é de 4096 tokens, documentos longos são melhores divididos em partes do que enviados inteiros.

Você chama o modelo através da API compatível com OpenAI da api14 usando o id de modelo "tencent/hy-mt2-30b-a3b". Como a interface segue o formato de chat completions da OpenAI, você pode apontar um cliente OpenAI existente para a URL base da api14 e alterar o id de modelo, sem outras mudanças estruturais. Os parâmetros de requisição suportados são max_completion_tokens, max_tokens, response_format, stop, structured_outputs e temperature. Use temperature para controlar quão literal ou variada é a tradução, stop para encerrar a geração em uma sequência escolhida, e response_format ou structured_outputs quando você precisar da resposta em um formato definido em vez de texto livre. Observe que max_tokens e max_completion_tokens são ambos aceitos, então escolha uma convenção e mantenha a consistência.

A principal restrição a considerar é o tamanho. Com uma janela de contexto de 8192 tokens e um teto de saída de 4096 tokens, este modelo é feito para passagens e segmentos, e não para livros inteiros em uma única chamada. Se sua tarefa é raciocínio geral, geração de código ou análise de documentos longos em vez de tradução, um modelo de texto de propósito geral geralmente se encaixa melhor. Dentro do trabalho de tradução, porém, a cobertura de idiomas, os pares de dialetos e os fluxos de trabalho com glossário e delimitadores são as razões para escolher este modelo em vez de um genérico.