Mistral: Voxtral TTS 3

Mistral Voxtral TTS 3, Mistral tarafından geliştirilen bir metinden sese modelidir. Konuşma kategorisinde yer alır ve api14 üzerinde mistralai/voxtral-mini-tts-3-0 olarak tanımlanır. Voxtral ailesinin geri kalanının arkasındaki aynı sağlayıcı olan Mistral tarafından üretilmiştir ve görevi dar ve spesifiktir: metin üretmek veya düzenlemek yerine yazılı metni konuşulan sese dönüştürmek.

Model girdi olarak yalnızca metin alır ve çıktı olarak yalnızca konuşma döndürür. 4096 token bağlam penceresine sahiptir ve maksimum çıktı 3276 tokendır, bu da tek bir istekte ne kadar metin gönderebileceğinizi sınırlar. Voxtral TTS 3, geniş bir hazır ses kütüphanesiyle gelir. Bunlar arasında en_paul_neutral, en_paul_happy, en_paul_sad, en_paul_angry ve en_paul_excited gibi adlandırılmış İngilizce sesler, gb_oliver_neutral, gb_jane_sarcasm ve gb_jane_confused gibi Britanya sesleri, fr_marie_neutral ve fr_marie_angry gibi Fransızca sesler ve voice_3150, voice_478 ile voice_3132 gibi numaralandırılmış birçok ses bulunur. Sağlayıcıya göre model ayrıca sıfır atışlı ses klonlamayı destekler ve metin içinde duygu ile tempo etiketlerini kabul eder, bu da temel metni değiştirmeden sunumu yönlendirmenizi sağlar.

Pratik kullanımlar doğrudan bu özelliklerden kaynaklanır. Duygu ve tempo etiketleri ile geniş bir ses kümesi sayesinde model, sunumun sakin, heyecanlı veya sinirli satırlar arasında değişmesi gereken video ve kurs anlatımlarına uygundur. Britanya ve Fransızca ses kümeleri, her yerel ayar için ayrı bir model olmadan yerelleştirilmiş içerik için kullanılabilir hale getirir. Sıfır atışlı ses klonlama, birçok klipte tutarlı bir marka veya karakter sesi istediğinizde kullanışlıdır ve hazır kütüphane, hızlıca doğal bir sese ihtiyaç duyduğunuz durumları kapsar. Çıktı yalnızca ses olduğu için bir iş akışının son aşaması olarak iyi çalışır: metin modeliyle senaryonuzu üretin veya düzenleyin, ardından konuşma için son metni buraya iletin.

api14 üzerinden çağırmak, API OpenAI uyumlu olduğu için ağ geçidindeki diğer herhangi bir modelle aynı şekilde çalışır. Konuşma uç noktasına mistralai/voxtral-mini-tts-3-0 model kimliğiyle bir istek gönderirsiniz, metninizi girdi olarak iletirsiniz ve yukarıdaki listeden bir ses seçersiniz. Modelin kendisine ait desteklenen parametre bildirmediğini unutmayın, bu nedenle ağ geçidinin temperature veya top_p gibi rastgele ayar seçeneklerini ileteceğini beklememelisiniz; sonucu kontrol etme şekliniz ses seçimi, metin ve metne eklediğiniz duygu veya tempo etiketleridir. İstekleri 4096 token bağlam ve 3276 token çıktı sınırı içinde tutun.

Göreviniz metni konuşmak yerine üretmek veya yeniden yazmaksa, bir metin modeli daha uygundur, çünkü Voxtral TTS 3 yalnızca metin kabul eder ve yalnızca konuşma döndürür. Ayrıca bir deşifre modeli değildir, bu nedenle ses girdisi kapsam dışıdır. Uzun belgeler için senaryoyu bağlam sınırına uyan parçalara bölmeniz ve ortaya çıkan sesi birleştirmeniz gerekir.