Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct adalah model pembuatan teks dari Meta, dirilis pada 6 Desember 2024. Model ini termasuk dalam keluarga Llama 3.3, sebuah model bahasa besar multibahasa yang telah Meta latih terlebih dahulu (pretrained) dan juga instruction tuned pada 70B parameter. Varian instruction tuned bersifat teks saja, artinya model ini dirancang untuk tugas-tugas yang digerakkan oleh prompt, bukan input multimodal.

Model ini menerima teks masuk dan mengembalikan teks keluar, dengan jendela konteks 131.072 token dan output maksimum 16.384 token. Batas pengetahuan (knowledge cutoff) nya adalah 31 Desember 2023, sehingga apa pun setelah tanggal itu berada di luar apa yang dipelajarinya selama pelatihan. Karena instruction tuned, model ini mengikuti arahan dalam prompt dengan cukup langsung, yang membuatnya cocok untuk tugas-tugas di mana Anda menjelaskan apa yang Anda inginkan daripada memberikan contoh.

Kemampuan tersebut mengarah pada serangkaian penggunaan praktis yang cukup luas. Pekerjaan konteks panjang seperti meringkas atau menanyakan dokumen yang panjang sesuai dengan jendela 131.072 token, dan batas output 16.384 token mendukung respons yang jauh melampaui jawaban singkat. Pembuatan multibahasa dan asisten bergaya chat adalah kecocokan alami mengingat pelatihan multibahasa model ini. Instruction following juga menjadikannya pilihan yang wajar untuk ekstraksi, penulisan ulang, klasifikasi dan tugas transformasi serupa di mana inputnya adalah teks dan outputnya adalah teks.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "meta-llama/llama-3.3-70b-instruct". Endpoint menerima bentuk permintaan bergaya chat yang biasa, dan model ini mendukung berbagai parameter: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs dan top_p. Tool calling dan structured outputs keduanya tersedia, sehingga function calling dan respons yang dibatasi skema menjadi opsi, bukan solusi sementara.

Ada dua batasan yang perlu diingat saat Anda memilih model ini. Model ini hanya menerima teks, sehingga input gambar, audio atau non-teks lainnya berada di luar cakupannya, dan pengetahuannya berhenti pada akhir 2023, yang penting untuk pertanyaan tentang peristiwa terkini kecuali Anda menyediakan konteksnya sendiri. Jika tugas Anda bergantung pada hal-hal tersebut, model dengan modalitas input yang relevan atau batas pengetahuan yang lebih baru akan lebih cocok.