ByteDance Seed: Seed Audio 1.0

ByteDance Seed: Seed Audio 1.0 adalah model generasi audio dari ByteDance Seed, unit riset di balik keluarga model Seed milik ByteDance. Model ini berada di kategori speech dan dideskripsikan oleh penyedianya sebagai model generasi audio non-streaming. Dengan kata lain, model ini dibangun untuk mengubah teks menjadi audio, bukan untuk mentranskripsikan audio atau melakukan percakapan lisan. Jika Anda mengevaluasinya, hal utama yang perlu dipahami sejak awal adalah bahwa ini adalah model generasi, bukan model pengenalan ucapan atau model chat.

Model ini menerima prompt teks berbahasa alami sebagai satu-satunya input dan menghasilkan ucapan serta audio lain sebagai output. Prompt tidak terbatas pada kata-kata yang ingin diucapkan; prompt juga dapat mendeskripsikan suara, nada, dan bunyi yang diinginkan, yang berarti teks yang sama dapat dirender dengan cara berbeda tergantung bagaimana Anda menulis prompt. Generasi bersifat non-streaming, jadi Anda menerima audio yang sudah selesai, bukan aliran potongan secara langsung. Tidak ada panjang konteks yang dipublikasikan untuk model ini, jadi rencanakan berdasarkan prompt itu sendiri daripada mengasumsikan anggaran token yang besar.

Karena inputnya adalah prompt yang dapat membawa naskah sekaligus deskripsi penyampaiannya, penggunaan praktisnya mengikuti hal tersebut. Anda dapat menghasilkan dialog lisan dengan suara atau nada tertentu untuk narasi, dialog karakter, atau pekerjaan voiceover. Anda juga dapat menghasilkan audio non-ucapan dengan mendeskripsikan bunyi yang Anda inginkan, yang membuat model ini berguna untuk sketsa desain suara cepat atau untuk menghasilkan aset audio yang jika tidak demikian perlu direkam atau menggunakan alat sintesis terpisah. Alur kerja apa pun di mana Anda memiliki teks dan ingin mendapatkan audio, dan di mana Anda tidak masalah menunggu file lengkap alih-alih streaming, adalah kecocokan yang wajar.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "bytedance-seed/seed-audio-1-0". Karena antarmukanya mengikuti format OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke api14 dan mengirim permintaan dengan id tersebut di field model. Model ini menerima input teks dan mengembalikan output audio. Tidak ada parameter permintaan selain dasar yang tercantum sebagai didukung untuk model ini, jadi buat permintaan Anda tetap sederhana dan letakkan arahan suara, nada, dan bunyi ke dalam teks prompt itu sendiri, bukan ke parameter terpisah.

Ada beberapa kasus di mana model lain mungkin lebih cocok untuk Anda. Jika Anda memerlukan audio saat diproduksi, model ini bersifat non-streaming, jadi model speech streaming akan menjadi pilihan yang lebih baik. Jika tugas Anda adalah mentranskripsikan atau memahami audio alih-alih membuatnya, Anda memerlukan model pengenalan ucapan, karena Seed Audio 1.0 hanya menerima teks dan hanya mengeluarkan audio. Dan jika Anda memerlukan jendela konteks yang dipublikasikan untuk merencanakan prompt panjang, angka tersebut tidak tersedia di sini, jadi model dengan batas yang terdokumentasi mungkin lebih mudah untuk dipertimbangkan.