Tencent: Hy-MT2-30B-A3B

Tencent: Hy-MT2-30B-A3B to model tekstowy od Tencent, pozycjonowany jako flagowy model tłumaczeniowy w rodzinie Hy-MT2. Jest to model typu tekst na wejściu, tekst na wyjściu, więc przyjmuje prompty jako tekst i zwraca tekst, bez obsługi obrazu ani dźwięku. Jeśli budujesz tłumaczenie lub wielojęzyczne przetwarzanie tekstu w aplikacji, to jest model w tej rodzinie, który Tencent traktuje jako swoją najlepszą opcję.

Model obsługuje 33 pary językowe oraz pięć par chińskich dialektów i języków mniejszościowych. Poza zwykłym tłumaczeniem zdań dostawca opisuje przepływy pracy dla tłumaczenia strukturalnego, opartego na delimiterach, kontekstowego i opartego na glosariuszu, co oznacza, że możesz kształtować format wyjścia i dostarczać terminologię, której model powinien przestrzegać. Okno kontekstu wynosi 8192 tokeny, a maksymalne wyjście to 4096 tokenów, więc pojedyncze żądanie może pomieścić dość długi fragment źródłowy plus instrukcje, pozostawiając jednocześnie miejsce na przetłumaczony wynik. Wejścia i wyjścia są wyłącznie tekstowe.

Te możliwości wskazują na dość konkretny zestaw przypadków użycia. Potoki lokalizacyjne są oczywistym dopasowaniem: tłumaczenie ciągów produktowych, dokumentacji lub treści wsparcia w wielu parach językowych, przy czym obsługa glosariusza pomaga zachować spójność nazw produktów i terminów domenowych. Przepływy pracy oparte na delimiterach i strukturalne pasują do zadań wsadowych, w których wysyłasz kilka segmentów w jednym żądaniu i potrzebujesz odpowiedzi rozdzielonych w przewidywalny sposób. Tłumaczenie kontekstowe pomaga, gdy zdania nie można dobrze przetłumaczyć w izolacji, na przykład w dialogach, tekstach interfejsu z placeholderami lub tekście odwołującym się do wcześniejszych zdań. Pary chińskich dialektów i języków mniejszościowych są przydatne dla produktów regionalnych i treści, z którymi główne modele tłumaczeniowe często radzą sobie słabo. Ponieważ limit wyjścia wynosi 4096 tokenów, długie dokumenty lepiej dzielić na fragmenty niż wysyłać w całości.

Model wywołujesz przez API zgodne z OpenAI w api14, używając identyfikatora modelu "tencent/hy-mt2-30b-a3b". Ponieważ interfejs jest zgodny ze strukturą chat completions OpenAI, możesz skierować istniejącego klienta OpenAI na bazowy URL api14 i zmienić identyfikator modelu, bez innych zmian strukturalnych. Obsługiwane parametry żądania to max_completion_tokens, max_tokens, response_format, stop, structured_outputs i temperature. Użyj temperature, aby kontrolować, jak dosłowne lub zróżnicowane jest tłumaczenie, stop, aby zakończyć generowanie na wybranej sekwencji, oraz response_format lub structured_outputs, gdy potrzebujesz odpowiedzi w zdefiniowanym kształcie, a nie jako wolny tekst. Zwróć uwagę, że max_tokens i max_completion_tokens są oba akceptowane, więc wybierz jedną konwencję i trzymaj się jej.

Głównym ograniczeniem, które trzeba zaplanować, jest rozmiar. Przy oknie kontekstu 8192 tokeny i pułapie wyjścia 4096 tokenów ten model jest zbudowany dla fragmentów i segmentów, a nie całych książek w jednym wywołaniu. Jeśli twoje zadanie to ogólne rozumowanie, generowanie kodu lub analiza długich dokumentów, a nie tłumaczenie, model tekstowy ogólnego przeznaczenia zwykle pasuje lepiej. Jednak w pracy tłumaczeniowej to zasięg językowy, pary dialektów oraz przepływy pracy z glosariuszem i delimiterami są powodem, aby wybrać ten model zamiast modelu ogólnego.