Tencent: Hy-MT2-7B

Tencent: Hy-MT2-7B è un modello di traduzione di Tencent. È un modello con 7 miliardi di parametri, il che lo colloca nella fascia più piccola dell'intervallo di parametri per modelli di questo tipo, e rientra nella categoria testo. La descrizione del fornitore lo presenta specificamente come un sistema di traduzione anziché come un modello di chat generico, quindi il compito previsto è convertire il testo da una lingua all'altra.

Il modello accetta testo come input e restituisce testo come output. Ha una finestra di contesto di 8192 token e l'output massimo è di 4096 token. Secondo Tencent, supporta 33 coppie linguistiche più cinque coppie di dialetti cinesi e lingue minoritarie. Oltre alla semplice traduzione di frasi, offre flussi di lavoro per la traduzione strutturata, la traduzione basata su delimitatori, la traduzione contestuale, la traduzione basata su glossario e la traduzione guidata dallo stile. Questi flussi di lavoro sono importanti perché consentono di controllare terminologia e tono invece di accettare qualunque cosa il modello produca per impostazione predefinita.

Gli usi pratici derivano da questo insieme di funzionalità. La traduzione basata su glossario si adatta a documentazione, cataloghi di prodotti e materiale legale o tecnico in cui termini specifici devono essere mappati in modo coerente tra le lingue. La traduzione contestuale aiuta con passaggi più lunghi in cui una frase non può essere tradotta bene in isolamento, come dialoghi, thread di supporto o articoli con più paragrafi. La traduzione guidata dallo stile è utile quando lo stesso contenuto deve risultare diverso per pubblici diversi, ad esempio copy di marketing formale rispetto a quello informale. I flussi di lavoro basati su delimitatori e strutturati si adattano a pipeline in cui i segmenti tradotti devono essere separati o allineati con la loro origine, cosa comune negli strumenti di localizzazione. La copertura dei dialetti cinesi e delle lingue minoritarie estende questo ai contenuti destinati a quei pubblici.

Si chiama il modello tramite l'API compatibile con OpenAI di api14 usando l'id del modello "tencent/hy-mt2-7b". Poiché l'interfaccia segue la forma delle chat completions di OpenAI, è possibile puntare un client OpenAI esistente su api14 e cambiare la stringa del modello. I parametri di richiesta supportati sono max_completion_tokens, max_tokens, response_format, stop, structured_outputs e temperature. Temperature consente di controllare quanto l'output sia letterale o vario, stop permette di interrompere la generazione a una sequenza scelta, e response_format insieme a structured_outputs è utile quando serve che il risultato tradotto venga restituito in una forma definita per l'analisi a valle.

La finestra di contesto di 8192 token è il principale vincolo da tenere presente. Documenti molto lunghi dovranno essere suddivisi in blocchi, e la suddivisione in blocchi interagisce con la qualità della traduzione perché il contesto viene perso ai confini. Il limite di output di 4096 token significa anche che una singola richiesta non può restituire una traduzione arbitrariamente lunga. Se il tuo compito è ragionamento generale, riassunto o codice anziché traduzione, un modello di testo generico di solito sarà più adatto. Per il lavoro di traduzione entro questi limiti di dimensione, questo modello è la scelta più mirata.