Qwen: Qwen2.5 7B Instruct

Qwen2.5 7B Instruct adalah model generasi teks dari Qwen, seri model bahasa besar yang dikembangkan oleh Alibaba Cloud. Model ini termasuk dalam keluarga Qwen2.5, yang menurut penyedianya membawa pengetahuan yang jauh lebih banyak dibandingkan Qwen2 serta kemampuan dalam coding yang sangat meningkat. Model ini dirilis oleh penyedianya pada 16 Oktober 2024, dan batas pengetahuannya adalah 30 Juni 2024, jadi apa pun yang terjadi setelah tanggal tersebut berada di luar apa yang dipelajarinya selama pelatihan.

Model ini hanya bekerja dengan teks, baik pada input maupun output. Model ini menerima prompt teks dan mengembalikan completion teks, dengan context window 32,768 token dan output maksimum 29,491 token. Kombinasi tersebut berarti Anda dapat mengirim dokumen, transkrip, atau file kode yang cukup panjang dalam satu permintaan dan masih menyisakan ruang untuk respons yang substansial. Model ini merupakan model yang di-tuning untuk instruksi, jadi model ini dirancang untuk mengikuti arahan yang diberikan dalam prompt, bukan sekadar melanjutkan teks.

Karena peningkatan dalam coding dan pengetahuan umumnya, model ini cocok untuk tugas seperti generasi kode, penjelasan dan refactoring kode, tanya jawab atas dokumen panjang, peringkasan teks yang panjang, serta penyusunan draf atau penulisan ulang konten. Instruction tuning membuatnya cukup cocok untuk asisten bergaya chat dan untuk pekerjaan ekstraksi atau klasifikasi di mana Anda menjelaskan tugasnya dalam prompt. Konteks 32,768 token berguna ketika materi yang perlu Anda nalar panjang, misalnya file sumber lengkap atau laporan beberapa halaman, karena Anda sering dapat menghindari pemecahan menjadi potongan-potongan.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "qwen/qwen-2.5-7b-instruct". Permintaan mengikuti bentuk yang sama seperti antarmuka chat completions OpenAI, sehingga pustaka klien dan kode OpenAI yang sudah ada dapat diarahkan ke api14 dengan perubahan minimal. Model ini mendukung berbagai parameter permintaan: frequency_penalty, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k dan top_p. Tool calling dan structured outputs keduanya tersedia, yang berarti Anda dapat membiarkan model memanggil fungsi yang Anda tentukan atau membatasi outputnya ke suatu skema, dan parameter seed memungkinkan Anda membuat sampling lebih reproducible ketika Anda membutuhkan hasil yang konsisten di berbagai eksekusi.

Ingatlah batas konteks saat merancang permintaan: 32,768 token mencakup banyak hal, tetapi basis kode yang sangat besar atau input sepanjang buku tetap memerlukan chunking atau retrieval di depan model. Model ini hanya teks, jadi jika aplikasi Anda perlu memproses gambar atau audio, model ini bukan pilihan yang tepat. Jika Anda membutuhkan context window yang lebih besar atau penalaran yang lebih kuat untuk masalah sulit, model yang lebih besar dalam lini Qwen2.5 atau keluarga lain mungkin lebih cocok untuk Anda, sementara varian 7B ini tetap menjadi pilihan praktis untuk generasi sehari-hari, bantuan coding dan pemrosesan teks di mana model berukuran menengah sudah cukup.