Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct adalah model teks dari Meta, yang diidentifikasi di api14 sebagai meta-llama/llama-3.2-3b-instruct. Ini adalah model bahasa besar multibahasa dengan 3 miliar parameter yang dibangun di atas arsitektur transformer dan disetel untuk mengikuti instruksi. Meta merilisnya pada 25 September 2024, dan pengetahuan terbarunya berakhir pada 31 Desember 2023. Model ini berada di kategori teks, jadi ditujukan untuk pekerjaan bahasa, bukan gambar, audio, atau modalitas lainnya.

Di sisi input, model ini menerima teks dan mengembalikan teks. Jendela konteksnya adalah 131.072 token, yang tergolong besar untuk model sebesar ini dan memungkinkan Anda memasukkan dokumen panjang, transkrip, atau riwayat multi-turn dalam satu permintaan. Output maksimumnya adalah 117.964 token, sehingga responsnya juga bisa panjang. Meta menggambarkan model ini sebagai model yang dioptimalkan untuk tugas pemrosesan bahasa alami seperti pembuatan dialog, penalaran, dan peringkasan, dan pelatihan multibahasanya berarti model ini dapat menangani prompt dalam lebih dari satu bahasa.

Kemampuan tersebut mengarah pada serangkaian penggunaan yang cukup jelas. Peringkasan cocok secara alami: laporan panjang, catatan rapat, atau draf artikel dapat dimasukkan dan versi yang lebih singkat akan dihasilkan. Pembuatan dialog membuatnya cocok untuk asisten obrolan, bot dukungan, dan antarmuka percakapan di mana penyetelan instruksi menjaga jawaban tetap sesuai tugas. Tugas penalaran, seperti menyelesaikan masalah yang dinyatakan dalam prompt atau mengekstraksi jawaban terstruktur dari teks tidak terstruktur, juga termasuk dalam cakupannya. Karena model ini kecil, model ini menjadi pilihan yang wajar ketika Anda menginginkan latensi rendah atau ingin menjalankan banyak permintaan, dan konteks yang panjang berarti Anda tidak perlu memotong dokumen secara agresif sebelum mengirimkannya.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model meta-llama/llama-3.2-3b-instruct. Karena antarmukanya mengikuti format OpenAI, klien dan SDK yang ada umumnya berfungsi hanya dengan mengubah base URL dan id model. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs, dan top_p. Itu mencakup kontrol sampling yang biasa (temperature, top_p, top_k, min_p), penalti untuk pengulangan, eksekusi deterministik melalui seed, urutan stop, batas token, dan inspeksi probabilitas log melalui logprobs dan top_logprobs. Output terstruktur juga didukung, yang membantu ketika Anda memerlukan balasan agar sesuai dengan skema.

Hal utama yang perlu dipertimbangkan adalah ukuran model. Dengan 3 miliar parameter, model ini adalah model yang ringkas, jadi untuk tugas yang menuntut penalaran mendalam atau pengetahuan dunia yang luas, model yang lebih besar mungkin melayani Anda dengan lebih baik. Model ini juga hanya untuk teks, jadi apa pun yang melibatkan jenis input lain berada di luar cakupan di sini. Jika beban kerja Anda adalah peringkasan, dialog, atau penalaran sedang dan Anda menghargai jendela konteks yang panjang, model ini cocok secara praktis.