Cohere: Command R7B (12-2024)

Command R7B (12-2024) adalah model teks dari Cohere, dirilis oleh penyedia pada 14 Desember 2024. Model ini digambarkan sebagai pembaruan kecil dan cepat dari model Command R+, yang menempatkannya dalam keluarga model bahasa Command milik Cohere yang ditujukan untuk beban kerja praktis dan berbasis alat, bukan sekadar obrolan umum. Jika Anda sudah mengenal lini Command, ini adalah varian ringkas dan lebih cepat yang perlu dipertimbangkan ketika Anda menginginkan cakupan tugas dengan gaya yang sama tanpa model besar.

Model ini menerima teks dan mengembalikan teks, dengan jendela konteks 128.000 token dan output maksimum 4.000 token. Batas pengetahuan (knowledge cutoff) nya adalah 31 Agustus 2024, jadi apa pun setelah tanggal itu berada di luar apa yang dipelajarinya selama pelatihan. Cohere memposisikannya sebagai model yang kuat untuk retrieval augmented generation, penggunaan alat, agen, dan tugas serupa yang memerlukan penalaran kompleks. Itulah kemampuan yang perlu dijadikan dasar perencanaan: input panjang, pekerjaan terstruktur atau berorientasi alat, dan penalaran multi-langkah, bukan sekadar penulisan kreatif murni.

Kombinasi itu mengarah pada serangkaian kasus penggunaan yang cukup spesifik. Pipeline RAG adalah kecocokan yang jelas, karena konteks 128k memungkinkan Anda memasukkan dokumen yang diambil bersama pertanyaan tanpa pemangkasan agresif. Penggunaan alat dan loop agen mengikuti kekuatan yang sama, misalnya model yang memutuskan fungsi mana yang akan dipanggil, membaca hasilnya, lalu melanjutkan. Karena output terstruktur didukung, Anda juga dapat menggunakannya untuk tugas ekstraksi dan klasifikasi yang responsnya perlu sesuai dengan skema. Batas output 4.000 token perlu diperhatikan: ini cocok untuk jawaban, ringkasan, dan pemanggilan alat, tetapi tidak untuk menghasilkan dokumen panjang dalam satu respons.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "cohere/command-r7b-12-2024". Karena antarmukanya mengikuti bentuk chat completions OpenAI, SDK dan klien OpenAI yang ada umumnya berfungsi hanya dengan mengubah base URL dan model id. Parameter permintaan yang didukungnya adalah frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k dan top_p. Adanya seed berguna ketika Anda menginginkan sampling yang dapat direproduksi, dan response_format plus structured_outputs adalah pilihan yang tepat ketika kode hilir membutuhkan output yang dapat diurai.

Mengenai batasan, kendala utama yang diberikan adalah output maksimum 4.000 token dan knowledge cutoff 31 Agustus 2024. Jika tugas Anda bergantung pada informasi yang sangat baru, Anda perlu menyediakannya di prompt atau melalui pengambilan (retrieval), bukan mengandalkan pengetahuan model itu sendiri. Jika Anda memerlukan input gambar atau audio, model ini tidak menerimanya, karena hanya teks. Dalam batasan tersebut, model ini adalah default yang wajar untuk RAG, agen, dan tugas teks terstruktur ketika kecepatan dan jendela input yang panjang lebih penting daripada pembuatan teks panjang.