Mistral: Voxtral Mini TTS

Mistral Voxtral Mini TTS는 Mistral의 텍스트 음성 변환 모델로, api14의 speech 카테고리에 등록되어 있습니다. 텍스트만 입력으로 받고 음성만 출력으로 생성하므로, 음성 파이프라인에서 인식 쪽이 아니라 합성 쪽에 속합니다. 다른 Mistral 모델을 이미 api14를 통해 라우팅하고 있다면, 이 모델도 같은 제공자에서 나오며 동일한 접근 방식을 따릅니다.

이 모델은 텍스트를 받아 자연스럽게 들리는 오디오를 반환합니다. 다국어 출력을 지원하며, 사용 가능한 음성은 영어, 영국 영어, 프랑스어를 포함합니다. 영어 음성은 en_paul 아래에 그룹화되어 있으며, sad, neutral, happy, frustrated, excited, confident, cheerful, angry 변형이 있습니다. 영국 영어는 gb_oliver와 gb_jane을 제공하며, 각각 curious, confident, cheerful, angry, sarcasm, confusion, shame, jealousy, frustration 같은 감정 변형 집합을 갖습니다. 프랑스어는 fr_marie가 담당하며, sad, neutral, happy, excited, curious, angry 변형이 있습니다. 컨텍스트 윈도우는 4096 토큰이고 최대 출력은 3276이며, 이는 입력 텍스트와 생성된 음성이 공유하는 예산이므로 요청당 원본 텍스트를 합리적으로 짧게 유지하세요.

이러한 기능은 몇 가지 실용적인 용도를 가리킵니다. 기사, 문서, 제품 문구를 내레이션하고 자료와 감정적 어조가 맞는 음성을 고를 수 있습니다. 예를 들어 온보딩 콘텐츠에는 cheerful 음성을, 기술 낭독에는 neutral 음성을 사용할 수 있습니다. 음성이 세 가지 언어 변형으로 존재하므로, 같은 원본 텍스트에서 영어, 영국 영어, 프랑스어 청중을 위한 현지화된 오디오를 만들 수 있습니다. 감정 범위 덕분에 이 모델은 게임이나 이러닝의 대화에 사용할 수 있으며, 한 줄이 excited, frustrated, sad로 읽혀야 하는 경우에도 맞습니다. 제공자가 설명하는 제로 샷 음성 복제는 일련의 클립 전체에서 일관된 사용자 지정 음성이 필요할 때 관련이 있습니다.

api14를 통해 호출하는 방식은 다른 OpenAI 호환 모델과 같습니다. model id "mistralai/voxtral-mini-tts-2603"과 입력 텍스트를 사용해 chat completions 엔드포인트에 요청을 보내면, 응답에 생성된 음성이 포함됩니다. 이 모델은 지원되는 파라미터를 나열하지 않으므로 요청에서 조정할 샘플링이나 생성 설정이 없습니다. 음성 선택이 여러분이 가진 주요 제어이며, 위의 음성 목록에서 선택합니다. 조정 가능한 설정이 아니라 고정된 4096 토큰 컨텍스트와 3276 토큰 출력 상한을 기준으로 통합을 계획하세요.

파라미터 목록이 비어 있기 때문에, 이 모델은 텍스트와 음성을 제공하고 기본 동작을 받아들이는 단순한 합성 작업에 적합합니다. 생성 설정을 세밀하게 제어해야 하거나 입력 텍스트가 정기적으로 컨텍스트 윈도우를 초과한다면, 다른 모델을 사용하거나 이 모델 앞에 청킹 단계를 두는 것이 좋습니다. 지원되는 언어와 음성에서 일반 텍스트 음성 변환의 경우, 이 모델이 그 작업을 직접 처리합니다.