Cohere: Command R+ (08-2024)

Command R+ (08-2024) adalah model generasi teks dari Cohere, dirilis oleh penyedia pada 30 Agustus 2024. Ini adalah pembaruan dari model Command R+ sebelumnya, dan Cohere menggambarkannya sebagai model yang memberikan throughput sekitar 50 persen lebih tinggi dan latensi 25 persen lebih rendah dibandingkan versi sebelumnya, dengan tetap mempertahankan jejak perangkat keras yang sama. Jika Anda pernah menggunakan Command R+ sebelumnya, ini adalah checkpoint yang lebih baru dari lini yang sama, bukan keluarga model yang berbeda.

Model ini bekerja dengan teks masuk dan teks keluar. Model ini menerima hingga 128.000 token konteks, yang cukup untuk memuat dokumen panjang, transkrip, atau percakapan multi giliran dalam satu permintaan. Output dibatasi pada 4.000 token per respons, sehingga cocok untuk jawaban, ringkasan, dan payload terstruktur, bukan untuk dokumen yang dihasilkan sangat panjang. Batas pengetahuan (knowledge cutoff) nya adalah 31 Maret 2024, yang berarti apa pun setelah tanggal tersebut harus berasal dari prompt, dari tools, atau dari retrieval. Parameter yang didukung meliputi temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, dan response_format, plus tools, tool_choice, dan structured_outputs untuk pemanggilan tool dan generasi terbatas.

Rangkaian fitur tersebut mengarah pada beberapa pola praktis. Retrieval augmented generation sangat cocok: konteks yang panjang memungkinkan Anda menempelkan bagian yang diambil bersama pertanyaan. Tool calling dan structured outputs membuatnya dapat digunakan sebagai langkah penalaran dalam agen, di mana model memutuskan fungsi mana yang akan dipanggil dan mengembalikan argumen dalam skema yang Anda tentukan. Karena tools dan response_format keduanya didukung, Anda dapat membangun pipeline yang mencampur jawaban teks bebas dengan JSON yang dapat dibaca mesin. Jendela 128.000 token juga membantu untuk merangkum laporan panjang, mengekstrak bidang dari kontrak, atau menjawab pertanyaan atas basis kode atau kumpulan dokumentasi dalam satu kali proses.

Melalui api14 Anda memanggilnya dengan endpoint chat completions yang kompatibel dengan OpenAI dan model id "cohere/command-r-plus-08-2024". Permintaan menggunakan format messages yang sudah familiar, sehingga klien OpenAI SDK yang ada tetap berfungsi setelah mengarahkan base URL ke api14 dan mengganti nama model. Body permintaan dapat membawa salah satu parameter yang didukung: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice, dan structured_outputs. Perhatikan bahwa max_tokens mengatur balasan yang dihasilkan dan tidak dapat melebihi batas output 4.000 token, meskipun jendela konteksnya jauh lebih besar.

Ada dua batasan yang perlu diperhitungkan. Batas output 4.000 token berarti generasi bentuk panjang, seperti seluruh bab atau file kode besar dalam satu respons, mungkin memerlukan chunking atau model dengan batas output yang lebih tinggi. Batas pengetahuan Maret 2024 juga berarti pertanyaan yang sensitif terhadap waktu bergantung pada apa yang Anda berikan dalam prompt atau melalui tools. Jika beban kerja Anda sebagian besar berupa gambar atau audio, model ini bukan pilihan yang tepat, karena hanya menangani teks. Untuk tugas teks yang lugas dalam batasan tersebut, model ini adalah default yang wajar.