Tencent: Hy-MT2-7B

Tencent: Hy-MT2-7B는 Tencent의 번역 모델입니다. 7B 파라미터 모델로, 이런 종류의 모델 중에서는 파라미터 범위의 작은 쪽에 속하며 텍스트 카테고리에 위치합니다. 제공자의 설명은 이 모델을 범용 채팅 모델이 아니라 번역 시스템으로 특정하므로, 의도된 작업은 텍스트를 한 언어에서 다른 언어로 변환하는 것입니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환합니다. 컨텍스트 윈도우는 8192 토큰이고 최대 출력은 4096 토큰입니다. Tencent에 따르면 33개의 언어 쌍과 5개의 중국어 방언 및 소수 민족 언어 쌍을 지원합니다. 단순한 문장 번역 외에도 구조화 번역, 구분자 기반 번역, 문맥 번역, 용어집 기반 번역, 스타일 유도 번역을 위한 워크플로를 제공합니다. 이러한 워크플로는 모델이 기본적으로 생성하는 결과를 그대로 받아들이는 대신 용어와 어조를 제어할 수 있게 해 주기 때문에 중요합니다.

실용적인 용도는 그 기능 집합에서 따라옵니다. 용어집 기반 번역은 특정 용어가 언어 간에 일관되게 대응되어야 하는 문서, 제품 카탈로그, 법률 또는 기술 자료에 적합합니다. 문맥 번역은 문장을 단독으로 번역하기 어려운 더 긴 구절, 예를 들어 대화, 지원 스레드, 여러 문단의 기사에 도움이 됩니다. 스타일 유도 번역은 같은 내용을 서로 다른 독자층에 맞게 다르게 읽히게 해야 할 때, 예를 들어 격식 있는 마케팅 문구와 캐주얼한 마케팅 문구에 유용합니다. 구분자 기반 및 구조화 워크플로는 번역된 세그먼트를 분리하거나 원문과 정렬해야 하는 파이프라인에 맞으며, 이는 현지화 도구에서 흔합니다. 중국어 방언 및 소수 민족 언어 지원은 이를 해당 독자층을 겨냥한 콘텐츠로 확장합니다.

이 모델은 모델 id "tencent/hy-mt2-7b"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI chat completions 형태를 따르므로 기존 OpenAI 클라이언트를 api14로 지정하고 모델 문자열만 바꿀 수 있습니다. 지원되는 요청 파라미터는 max_completion_tokens, max_tokens, response_format, stop, structured_outputs, temperature입니다. temperature는 출력이 얼마나 직역적이거나 다양한지 제어할 수 있게 해 주고, stop은 선택한 시퀀스에서 생성을 끊을 수 있게 해 주며, response_format과 structured_outputs는 번역 결과를 다운스트림 파싱을 위해 정의된 형태로 반환해야 할 때 유용합니다.

8192 토큰 컨텍스트 윈도우가 염두에 두어야 할 주요 제약입니다. 매우 긴 문서는 청크로 나누어야 하며, 청크 분할은 경계에서 문맥이 손실되기 때문에 번역 품질과 상호작용합니다. 4096 토큰 출력 상한은 또한 단일 요청이 임의로 긴 번역을 반환할 수 없다는 뜻입니다. 작업이 번역이 아니라 일반 추론, 요약 또는 코드라면 범용 텍스트 모델이 보통 더 적합합니다. 이러한 크기 제한 내에서의 번역 작업에는 이 모델이 더 특화된 선택입니다.