Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3는 Mistral의 텍스트 음성 변환 모델입니다. 음성 카테고리에 속하며 api14에서 mistralai/voxtral-mini-tts-3-0으로 식별됩니다. 나머지 Voxtral 제품군을 만든 것과 동일한 제공업체인 Mistral이 제작했으며, 그 역할은 좁고 구체적입니다. 즉, 텍스트를 생성하거나 편집하는 것이 아니라 작성된 텍스트를 음성 오디오로 바꾸는 것입니다.

이 모델은 텍스트만 입력으로 받고 음성만 출력으로 반환합니다. 컨텍스트 윈도우는 4096 토큰이고 최대 출력은 3276 토큰이며, 이는 단일 요청에서 보낼 수 있는 텍스트의 양을 제한합니다. Voxtral TTS 3에는 대규모 사전 설정 음성 라이브러리가 함께 제공됩니다. 여기에는 en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry, en_paul_excited 같은 이름이 지정된 영어 음성, gb_oliver_neutral, gb_jane_sarcasm, gb_jane_confused 같은 영국 영어 음성, fr_marie_neutral, fr_marie_angry 같은 프랑스어 음성과 함께 voice_3150, voice_478, voice_3132처럼 번호가 붙은 많은 음성이 포함됩니다. 제공업체에 따르면 이 모델은 제로샷 음성 복제도 지원하며 텍스트 안에 감정 및 속도 태그를 받을 수 있어, 원본 대본을 바꾸지 않고도 발화 방식을 조정할 수 있습니다.

실용적인 용도는 이러한 특성에서 바로 이어집니다. 감정 및 속도 태그와 다양한 음성 세트 덕분에 이 모델은 차분함, 흥분, 좌절하는 대사 사이를 전환해야 하는 영상 및 강좌 내레이션에 적합합니다. 영국 영어와 프랑스어 음성 세트는 로케일마다 별도 모델 없이도 현지화된 콘텐츠에 사용할 수 있게 해줍니다. 제로샷 음성 복제는 여러 클립에 걸쳐 일관된 브랜드 또는 캐릭터 음성을 원할 때 유용하며, 사전 설정 라이브러리는 자연스러운 음성이 빠르게 필요한 경우를 커버합니다. 출력이 오디오뿐이므로 파이프라인의 마지막 단계로 잘 맞습니다. 텍스트 모델로 대본을 생성하거나 편집한 다음, 최종 텍스트를 여기로 넘겨 음성을 만들면 됩니다.

api14를 통해 호출하는 방식은 API가 OpenAI 호환되므로 게이트웨이의 다른 모델과 동일합니다. speech 엔드포인트로 model id인 mistralai/voxtral-mini-tts-3-0을 사용해 요청을 보내고, 텍스트를 input으로 전달하며, 위 목록에서 음성을 선택합니다. 이 모델은 자체적으로 지원하는 파라미터가 없다고 보고하므로, 게이트웨이가 temperature나 top_p 같은 임의의 튜닝 옵션을 전달할 것이라고 기대해서는 안 됩니다. 음성 선택, 텍스트, 그리고 삽입하는 감정 또는 속도 태그가 결과를 제어하는 방법입니다. 요청은 4096 토큰 컨텍스트와 3276 토큰 출력 상한 안에서 유지하세요.

작업이 텍스트를 말하는 것이 아니라 생성하거나 다시 쓰는 것이라면 텍스트 모델이 더 적합합니다. Voxtral TTS 3는 텍스트만 받고 음성만 반환하기 때문입니다. 또한 전사 모델이 아니므로 오디오 입력은 범위 밖입니다. 긴 문서의 경우 대본을 컨텍스트 제한을 지키는 청크로 나누고 결과 오디오를 이어 붙여야 합니다.