Tencent: Hy-MT2-30B-A3B

Tencent: Hy-MT2-30B-A3B is een tekstmodel van Tencent, gepositioneerd als het vlaggenschip-vertaalmodel in de Hy-MT2-familie. Het is een tekst-in, tekst-uit-model, dus het neemt prompts als tekst en retourneert tekst, zonder beeld- of audiostreamen. Als je vertaling of meertalige tekstverwerking in een applicatie bouwt, is dit het model in de familie dat Tencent als zijn beste optie beschouwt.

Het model ondersteunt 33 taalparen en vijf paren van Chinese dialecten en minderheidstalen. Naast gewone zinsvertaling beschrijft de provider workflows voor gestructureerde, op scheidingstekens gebaseerde, contextuele en op woordenlijsten gebaseerde vertaling, wat betekent dat je het uitvoerformaat kunt vormgeven en terminologie kunt aanleveren die het model moet volgen. Het contextvenster is 8192 tokens en de maximale uitvoer is 4096 tokens, dus een enkel verzoek kan een redelijk lange bronpassage plus instructies bevatten en toch ruimte overlaten voor het vertaalde resultaat. Invoer en uitvoer zijn alleen tekst.

Die mogelijkheden wijzen op een vrij specifieke set use cases. Lokalisatiepijplijnen zijn de voor de hand liggende match: het vertalen van productstrings, documentatie of supportinhoud over vele taalparen, waarbij woordenlijstondersteuning helpt om productnamen en domeintermen consistent te houden. Op scheidingstekens gebaseerde en gestructureerde workflows passen bij batchtaken waarbij je meerdere segmenten in een verzoek verstuurt en de antwoorden op een voorspelbare manier gescheiden wilt hebben. Contextuele vertaling helpt wanneer een zin niet goed los te vertalen is, zoals dialoog, UI-tekst met placeholders, of tekst die teruggrijpt naar eerdere zinnen. De paren van Chinese dialecten en minderheidstalen zijn nuttig voor regionale producten en content die reguliere vertaalmodellen vaak slecht verwerken. Omdat de uitvoerlimiet 4096 tokens is, kun je lange documenten beter in stukken splitsen dan in hun geheel versturen.

Je roept het model aan via de OpenAI-compatibele API van api14 met het model-id "tencent/hy-mt2-30b-a3b". Omdat de interface de vorm van OpenAI chat completions volgt, kun je een bestaande OpenAI-client op de base URL van api14 richten en het model-id wijzigen, zonder andere structurele wijzigingen. De ondersteunde verzoekparameters zijn max_completion_tokens, max_tokens, response_format, stop, structured_outputs en temperature. Gebruik temperature om te bepalen hoe letterlijk of gevarieerd de vertaling is, stop om de generatie bij een gekozen sequentie te beëindigen, en response_format of structured_outputs wanneer je het antwoord in een gedefinieerde vorm nodig hebt in plaats van vrije tekst. Let op dat max_tokens en max_completion_tokens beide worden geaccepteerd, dus kies één conventie en blijf daarbij.

De belangrijkste beperking om rekening mee te houden is grootte. Met een contextvenster van 8192 tokens en een uitvoerplafond van 4096 tokens is dit model gebouwd voor passages en segmenten, niet voor hele boeken in één aanroep. Als je taak algemeen redeneren, codegeneratie of analyse van lange documenten is in plaats van vertaling, past een algemeen tekstmodel meestal beter. Binnen vertaalwerk zijn de taaldekking, dialectparen en woordenlijst- en scheidingstekenworkflows echter de redenen om dit model boven een generiek model te kiezen.