Writer: Palmyra X5

Penulis: Palmyra X5 adalah model teks dari Writer, terdaftar di api14 dengan id model writer/palmyra-x5. Writer mendeskripsikannya sebagai modelnya yang paling canggih, dirancang khusus untuk membangun dan menskalakan agen AI di seluruh perusahaan. Model ini berada dalam kategori teks, jadi ditujukan untuk pekerjaan bahasa, bukan gambar, audio, atau modalitas lain.

Model ini menerima teks dan mengembalikan teks. Jendela konteksnya adalah 1.040.000 token, yaitu sedikit di atas satu juta token, dan output maksimumnya adalah 8.192 token. Deskripsi Writer sendiri menyoroti kecepatan dan efisiensi yang memimpin industri pada jendela konteks hingga 1 juta token, jadi jendela besar tersebut adalah bagian yang disengaja dari desainnya, bukan angka yang kebetulan. Tidak ada input visi atau audio di sini, semua yang Anda kirim harus berupa teks.

Kombinasi jendela konteks yang sangat besar dan batas output yang moderat membentuk kasus penggunaan praktisnya. Dokumen panjang, basis kode besar, transkrip panjang, dan kumpulan multi dokumen dapat diberikan dalam satu permintaan tanpa pemotongan, yang cocok untuk alur kerja agen yang berat pengambilan, peringkasan atas sumber panjang, tanya jawab yang berpijak pada materi referensi besar, dan tugas ekstraksi di mana jawabannya singkat tetapi buktinya tersebar di banyak halaman. Karena outputnya dibatasi pada 8.192 token, model ini paling cocok ketika Anda membutuhkan respons yang terfokus, bukan dokumen hasil generasi yang panjang.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model writer/palmyra-x5, sehingga pustaka klien OpenAI yang ada dan bentuk permintaannya berfungsi tanpa penanganan khusus. Parameter permintaan yang didukung adalah max_tokens, stop, temperature, top_k, dan top_p. Gunakan max_tokens untuk membatasi respons dalam batas output 8.192, stop untuk menentukan di mana generasi harus berhenti, dan temperature, top_k, serta top_p untuk mengendalikan pengambilan sampel. Tidak ada parameter lain yang tercantum sebagai didukung, jadi batasi permintaan pada kumpulan ini.

Kendala utama yang perlu diperhitungkan adalah batas output 8.192 token. Jika tugas Anda adalah menghasilkan laporan panjang, file lengkap, atau prosa panjang dalam satu kali proses, model ini akan terpotong sebelum selesai, dan model dengan izin output yang lebih besar mungkin lebih cocok. Palmyra X5 paling kuat ketika inputnya besar dan jawaban yang dibutuhkan relatif kecil.