Tencent: Hy-MT2-30B-A3B

Tencent: Hy-MT2-30B-A3B는 Tencent의 텍스트 모델로, Hy-MT2 제품군에서 플래그십 번역 모델로 자리매김하고 있습니다. 텍스트 입력, 텍스트 출력 모델이므로 프롬프트를 텍스트로 받아 텍스트를 반환하며, 이미지나 오디오 처리는 하지 않습니다. 애플리케이션에 번역이나 다국어 텍스트 처리를 구축하려는 경우, 이것은 Tencent가 최상위 옵션으로 취급하는 제품군의 모델입니다.

이 모델은 33개의 언어 쌍과 함께 5개의 중국어 방언 및 소수 민족 언어 쌍을 지원합니다. 단순한 문장 번역 외에도, 제공자는 구조화된, 구분자 기반, 문맥 기반, 용어집 기반 번역 워크플로를 설명하는데, 이는 출력 형식을 조정하고 모델이 따라야 할 용어를 제공할 수 있다는 의미입니다. 컨텍스트 윈도우는 8192 토큰이고 최대 출력은 4096 토큰이므로, 단일 요청에 상당히 긴 원문 구절과 지침을 담으면서도 번역 결과를 위한 공간을 남길 수 있습니다. 입력과 출력은 텍스트만 가능합니다.

이러한 기능은 상당히 특정한 사용 사례 집합을 가리킵니다. 현지화 파이프라인이 가장 확실한 적합 사례입니다. 제품 문자열, 문서 또는 지원 콘텐츠를 여러 언어 쌍으로 번역하며, 용어집 지원은 제품 이름과 도메인 용어를 일관되게 유지하는 데 도움이 됩니다. 구분자 기반 및 구조화된 워크플로는 한 요청에 여러 세그먼트를 보내고 응답이 예측 가능한 방식으로 분리되기를 원하는 배치 작업에 적합합니다. 문맥 기반 번역은 문장을 단독으로 번역하기 어려운 경우, 예를 들어 대화, 플레이스홀더가 있는 UI 문구, 또는 이전 문장을 참조하는 텍스트에 도움이 됩니다. 중국어 방언 및 소수 민족 언어 쌍은 주류 번역 모델이 종종 제대로 처리하지 못하는 지역 제품과 콘텐츠에 유용합니다. 출력 제한이 4096 토큰이므로, 긴 문서는 전체를 보내기보다 청크로 나누는 것이 좋습니다.

모델 ID "tencent/hy-mt2-30b-a3b"를 사용하여 api14의 OpenAI 호환 API를 통해 모델을 호출합니다. 인터페이스가 OpenAI 채팅 완성 형태를 따르므로, 기존 OpenAI 클라이언트를 api14의 기본 URL로 지정하고 모델 ID만 변경하면 되며, 다른 구조적 변경은 필요하지 않습니다. 지원되는 요청 매개변수는 max_completion_tokens, max_tokens, response_format, stop, structured_outputs, temperature입니다. temperature를 사용하여 번역이 얼마나 직역적인지 또는 다양한지 제어하고, stop을 사용하여 선택한 시퀀스에서 생성을 종료하며, response_format 또는 structured_outputs를 사용하여 자유 텍스트가 아닌 정의된 형태로 응답을 받을 수 있습니다. max_tokens와 max_completion_tokens가 모두 허용되므로, 하나의 규칙을 선택하고 일관되게 유지하십시오.

계획해야 할 주요 제약은 크기입니다. 8192 토큰 컨텍스트 윈도우와 4096 토큰 출력 상한으로, 이 모델은 한 번의 호출로 책 전체보다는 구절과 세그먼트를 위해 만들어졌습니다. 작업이 번역이 아니라 일반 추론, 코드 생성 또는 장문 문서 분석이라면, 범용 텍스트 모델이 보통 더 적합합니다. 그러나 번역 작업 내에서는 언어 범위, 방언 쌍, 용어집 및 구분자 워크플로가 일반 모델보다 이 모델을 선택하는 이유입니다.