Qwen2.5 Coder 32B Instruct

Qwen2.5 Coder 32B Instruct adalah model bahasa besar yang berfokus pada kode dari Qwen, seri model yang sebelumnya dikenal sebagai CodeQwen. Model ini dirilis oleh penyedia pada 11 November 2024 dan berada dalam kategori teks, jadi model ini dibangun untuk pekerjaan bahasa, bukan gambar atau audio. Sufiks "Instruct" berarti model ini disetel untuk mengikuti instruksi, yang merupakan varian yang Anda inginkan untuk tugas pengkodean bergaya asisten, bukan penyelesaian mentah. Batas pengetahuan model ini adalah 30 Juni 2024, jadi apa pun setelah tanggal itu berada di luar apa yang dilihat model selama pelatihan.

Model ini menerima teks masuk dan mengembalikan teks keluar, dengan jendela konteks 32.768 token dan output maksimum 29.491 token. Kombinasi itu penting untuk pekerjaan pengkodean: konteks yang besar memungkinkan Anda menempelkan beberapa file, diff yang panjang, atau spesifikasi terperinci bersama pertanyaan Anda, sementara batas output yang besar memungkinkan fungsi lengkap, patch multi-file, atau penjelasan panjang dalam satu respons. Penyedia menggambarkan seri Qwen2.5-Coder sebagai memberikan peningkatan signifikan dalam pembuatan kode dan penalaran kode dibandingkan CodeQwen1.5, yang merupakan inti dari tujuan model ini.

Kemampuan tersebut mengarah pada serangkaian penggunaan yang cukup jelas. Pembuatan kode, di mana Anda mendeskripsikan fungsi atau modul dan mendapatkan kode yang berfungsi kembali, adalah penggunaan utamanya. Penalaran kode mencakup tugas seperti menjelaskan apa yang dilakukan potongan kode yang tidak dikenal, melacak bug melalui rantai pemanggilan, atau meninjau perubahan untuk kasus tepi. Karena jendela konteksnya besar, Anda juga dapat menggunakannya untuk refactoring lintas beberapa file, menulis pengujian terhadap implementasi yang ada, menerjemahkan kode antar bahasa, atau menghasilkan dokumentasi dan pesan commit dari sebuah diff. Ini adalah model teks, jadi model ini tidak akan membaca tangkapan layar UI atau mengurai diagram; Anda perlu mendeskripsikannya dengan kata-kata.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model "qwen/qwen-2.5-coder-32b-instruct". Karena antarmukanya mengikuti bentuk chat completions OpenAI, Anda dapat mengarahkan klien OpenAI yang ada ke base URL api14 dan hanya mengubah id model. Parameter permintaan yang didukungnya adalah frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k dan top_p. Dalam praktiknya Anda akan mengatur temperature dan top_p untuk perilaku sampling, max_tokens untuk membatasi panjang respons, stop untuk alur kerja berbasis delimiter, seed ketika Anda menginginkan output yang dapat direproduksi, dan response_format ketika Anda memerlukan output terstruktur seperti JSON. Penalti dan min_p memberi Anda kontrol lebih halus atas pengulangan dan token berprobabilitas rendah, yang berguna saat menghasilkan blok kode panjang.

Batasan utama yang perlu diingat adalah konteks 32.768 token. Jika repositori atau kumpulan dokumen Anda lebih besar dari itu, Anda perlu mengambil dan meneruskan hanya bagian yang relevan, bukan keseluruhannya. Model ini juga hanya teks, jadi tugas yang bergantung pada input visual memerlukan pendekatan berbeda. Untuk percakapan umum atau penulisan non-pengkodean, model serbaguna yang lebih luas mungkin lebih cocok, tetapi untuk pembuatan kode dan penalaran kode dalam batas konteks, model ini adalah pilihan langsung.