Qwen2.5 72B Instruct

Qwen2.5 72B Instruct adalah model generasi teks dari Qwen, seri model bahasa besar yang dikembangkan oleh Alibaba Cloud. Model ini termasuk dalam keluarga Qwen2.5, yang menurut penyedianya membawa pengetahuan jauh lebih banyak dibandingkan Qwen2 serta kemampuan coding yang sangat meningkat. Model ini dirilis oleh penyedianya pada 19 September 2024, dan pengetahuan pelatihannya mencakup hingga batas 30 Juni 2024. Model ini berada dalam kategori teks dan diposisikan sebagai model yang disetel untuk instruksi, artinya model ini dirancang untuk mengikuti prompt dan menghasilkan respons langsung, bukan kelanjutan mentah.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output, sehingga cocok untuk tugas apa pun yang dapat diungkapkan dalam bahasa. Jendela konteksnya adalah 32.768 token, yang mencakup materi dalam jumlah besar dalam satu permintaan, dan panjang output maksimumnya adalah 16.384 token. Kombinasi tersebut cocok untuk prompt panjang seperti ringkasan multi-dokumen, file kode yang panjang, atau instruksi terperinci ketika jawabannya sendiri juga mungkin panjang. Karena hanya teks yang didukung di kedua sisi, model ini tidak memproses gambar, audio, atau modalitas lainnya.

Kemampuan tersebut mengarah pada serangkaian penggunaan praktis yang cukup luas. Kemampuan mengikuti instruksi dan penekanan pada coding membuatnya cukup cocok untuk generasi kode, refactoring, bantuan debugging, dan penjelasan kode yang sudah ada. Jendela konteks yang besar mendukung alur kerja bergaya retrieval ketika beberapa bagian sumber ditempelkan ke dalam prompt dan model diminta untuk menyintesis atau menjawab pertanyaan berdasarkan bagian tersebut. Model ini juga cocok untuk menyusun dan menyunting prosa, ekstraksi terstruktur dari teks, klasifikasi dan peringkasan, serta asisten percakapan yang perlu mempertahankan rangkaian dialog panjang dalam batas token.

Anda dapat memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "qwen/qwen-2.5-72b-instruct". Karena antarmukanya mengikuti bentuk chat completions OpenAI, SDK dan klien OpenAI yang sudah ada umumnya berfungsi hanya dengan mengubah base URL dan key. Model ini mendukung banyak parameter permintaan: frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k dan top_p. Pemanggilan tool dan output terstruktur karena itu tersedia secara langsung, yang berguna ketika Anda perlu model mengembalikan JSON atau memanggil fungsi, bukan teks bebas.

Ada beberapa batasan yang perlu dipertimbangkan sebelum Anda memutuskan. Konteks 32.768 token memang lega, tetapi tidak tak terbatas, jadi basis kode yang sangat besar atau kumpulan dokumen yang panjang mungkin perlu dipecah atau diambil secara retrieval, bukan dimasukkan dalam satu prompt. Batas pengetahuan 30 Juni 2024 berarti apa pun yang lebih baru harus berasal dari prompt itu sendiri. Jika beban kerja Anda tidak berbasis teks, model ini tidak akan membantu, karena model ini tidak memiliki input gambar atau audio. Untuk tugas yang sesuai dengan batasan ini, model ini menawarkan model teks serbaguna yang mumpuni dengan kontrol parameter yang kuat.