Cohere: Command R (08-2024)

Command R (08-2024) adalah model generasi teks dari Cohere, yang diidentifikasi di api14 sebagai cohere/command-r-08-2024. Ini adalah pembaruan dari model Command R sebelumnya, yang dirilis oleh penyedia pada 30 Agustus 2024, dan mempertahankan peran keseluruhan yang sama dalam jajaran produk Cohere sambil meningkatkan versi aslinya. Pembaruan ini berfokus pada performa yang lebih baik untuk retrieval-augmented generation (RAG) multibahasa dan penggunaan tool, dan juga lebih kuat dalam matematika, kode dan penalaran dibandingkan versi yang digantikannya.

Model ini hanya bekerja dengan teks masuk dan teks keluar. Model ini menerima prompt teks dan mengembalikan completion teks, tanpa input gambar atau audio. Jendela konteksnya adalah 128.000 token, yang cukup besar untuk menampung dokumen panjang, percakapan multi-giliran atau beberapa bagian yang diambil bersama instruksi. Output maksimum adalah 4.000 token per respons, dan knowledge cutoff adalah 31 Maret 2024, jadi apa pun setelah tanggal itu harus berasal dari prompt atau dari pemanggilan tool, bukan dari data pelatihan model itu sendiri.

Kemampuan tersebut mengarah pada beberapa penggunaan praktis. Karena RAG multibahasa adalah keunggulan yang dinyatakan, model ini cocok untuk tanya jawab atas kumpulan dokumen di mana kueri dan sumber mungkin dalam bahasa yang berbeda, dengan potongan yang diambil ditempatkan di jendela konteks yang panjang. Penggunaan tool dan output terstruktur membuatnya cukup cocok untuk agen dan alur kerja yang perlu memanggil fungsi, mengekstrak field ke dalam skema atau merutekan permintaan ke sistem lain. Peningkatan dalam matematika, kode dan penalaran juga membuatnya dapat digunakan untuk tugas analisis, penjelasan kode dan pemecahan masalah langkah demi langkah, meskipun batas output 4.000 token berarti file yang dihasilkan panjang atau laporan yang sangat rinci perlu dipecah menjadi beberapa panggilan.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id cohere/command-r-08-2024, sehingga kode OpenAI SDK yang ada berfungsi dengan mengubah base URL dan nama model. Parameter permintaan yang didukungnya adalah frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k dan top_p. Dalam praktiknya itu mencakup kontrol sampling (temperature, top_p, top_k), kontrol pengulangan (penalti frequency dan presence), panjang output (max_tokens), urutan stop, sampling yang mendekati deterministik melalui seed, serta response_format bergaya JSON dan structured_outputs untuk hasil yang dibatasi skema. Penggunaan tool dikonfigurasi dengan tools dan tool_choice.

Beberapa batasan perlu diketahui sebelum Anda memutuskan. Input dan output hanya teks, jadi jika Anda memerlukan visi atau audio, model ini bukan pilihan yang tepat. Batas output 4.000 token membuatnya tidak cocok untuk tugas yang harus menghasilkan respons tunggal yang sangat panjang. Knowledge cutoff 31 Maret 2024 berarti informasi terbaru harus disediakan dalam prompt atau diambil melalui tool. Dan karena model ini diposisikan di sekitar RAG, penggunaan tool dan penalaran, bukan sebagai model unggulan umum, model lain mungkin lebih cocok ketika prioritas Anda adalah sesuatu di luar area tersebut.