OpenAI: GPT Audio

GPT Audio adalah model OpenAI yang terdaftar di api14 dengan pengenal openai/gpt-audio. Model ini berada di kategori audio dan merupakan model audio pertama OpenAI yang tersedia secara umum. Snapshot ini mencakup dekoder yang ditingkatkan untuk menghasilkan suara yang lebih alami, dan model ini mempertahankan konsistensi suara yang lebih baik dibandingkan karya audio sebelumnya dari penyedia yang sama. Jika Anda membangun apa pun yang perlu berbicara atau mendengar, bukan hanya membaca dan menulis teks, inilah model yang OpenAI posisikan untuk tugas tersebut.

Model ini menerima teks dan audio sebagai input, dan dapat mengembalikan teks serta audio sebagai output. Kemampuan dua arah itulah yang terutama membedakannya dari model teks murni: Anda dapat mengirim audio dan mendapatkan transkrip atau balasan, atau mengirim teks dan mendapatkan kembali ucapan yang disintesis. Jendela konteksnya adalah 128000 token, cukup besar untuk menampung percakapan panjang atau transkrip audio yang panjang bersama instruksi dan giliran sebelumnya. Output maksimumnya adalah 16384 token, sehingga respons, termasuk konten audio yang dihasilkan, dibatasi oleh angka tersebut.

Penggunaan praktis mengikuti langsung dari modalitas tersebut. Asisten suara dan agen percakapan adalah kecocokan yang jelas, karena model dapat menerima input lisan dan menjawab dengan ucapan sambil menjaga konsistensi suara di seluruh giliran. Tugas transkripsi dan pemahaman audio juga berfungsi, termasuk merangkum rekaman atau menjawab pertanyaan tentang apa yang dikatakan. Karena model ini juga menangani output teks, Anda dapat menggunakannya untuk aplikasi bergaya chat di mana sebagian pengguna mengetik dan sebagian lagi berbicara, tanpa menjalankan dua pipeline terpisah. Dekoder yang ditingkatkan paling penting ketika kualitas dan konsistensi suara terlihat oleh pengguna akhir, seperti agen yang berhadapan dengan pelanggan atau konten bernarasi.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id openai/gpt-audio, sehingga SDK dan klien OpenAI yang ada berfungsi hanya dengan perubahan base URL dan key. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs dan top_p. Pemanggilan tool dan output terstruktur tersedia, yang berarti Anda dapat menghubungkan model ini ke alur function calling atau membatasi output teksnya ke suatu skema. Parameter seed membantu ketika Anda menginginkan hasil yang dapat diulang, dan response_format memungkinkan Anda mengarahkan bentuk balasannya.

Ingatlah batas output: 16384 token cukup besar untuk percakapan tetapi tidak tak terbatas, jadi audio yang dihasilkan sangat panjang atau dokumen yang diperluas mungkin perlu dipecah ke beberapa panggilan. Jika tugas Anda sepenuhnya teks dan tidak pernah menyentuh audio, model teks khusus mungkin menjadi pilihan yang lebih sederhana dan lebih dapat diprediksi, karena kemampuan audio di sini adalah yang membenarkan penggunaan model ini. Untuk apa pun yang benar-benar membutuhkan ucapan masuk atau ucapan keluar, GPT Audio adalah opsi langsung di api14.