Meta: Llama 3.1 8B Instruct

Meta: Llama 3.1 8B Instruct adalah model teks yang disetel dengan instruksi dari Meta, bagian dari keluarga Llama 3.1 yang diluncurkan pada Juli 2024. Ukuran 8B berada di ujung yang lebih kecil dari keluarga tersebut, yang membuatnya menjadi pilihan default yang wajar ketika Anda menginginkan asisten serbaguna yang mumpuni tanpa bobot model yang jauh lebih besar. Ini adalah model khusus teks, sehingga cocok untuk chat, penyusunan draf, ekstraksi dan tugas bahasa serupa, bukan untuk apa pun yang melibatkan gambar atau audio.

Model ini menerima teks masuk dan mengembalikan teks keluar. Model ini mendukung jendela konteks 131,072 token, yang cukup besar untuk menampung dokumen panjang, percakapan panjang atau file kode berukuran besar dalam satu permintaan. Output maksimumnya adalah 117,964 token, sehingga generasi panjang dimungkinkan dalam jendela tersebut. Batas pengetahuan (knowledge cutoff) nya adalah 2023-12-31, artinya peristiwa dan informasi setelah tanggal tersebut bukan bagian dari data pelatihannya. Ketika akurasi bergantung pada fakta terkini, Anda sebaiknya menyediakan konteks yang relevan sendiri daripada mengandalkan memori model.

Karakteristik tersebut mengarah pada beberapa penggunaan praktis. Meringkas dan menjawab pertanyaan atas input panjang sangat cocok dengan jendela konteks yang besar. Kemampuan mengikuti instruksi membuatnya cocok untuk asisten chat, penulisan ulang, klasifikasi dan ekstraksi data terstruktur dari teks yang berantakan. Karena model ini menerima tools dan structured outputs, model ini juga dapat berfungsi sebagai langkah penalaran dalam pipeline yang memanggil fungsi atau mengembalikan JSON. Ukuran 8B menjaga latensi dan penggunaan sumber daya relatif rendah, yang membantu ketika Anda menjalankan banyak permintaan atau membuat prototipe ide sebelum beralih ke model yang lebih besar.

Anda dapat memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id meta-llama/llama-3.1-8b-instruct. Arahkan klien OpenAI Anda yang sudah ada ke base URL api14 dan masukkan id tersebut di field model. Model ini menerima frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs dan top_p. Itu mencakup kontrol sampling yang biasa ditambah tool calling, structured outputs dan eksekusi yang dapat direproduksi melalui seed.

Satu hal yang perlu dipertimbangkan adalah batas pengetahuan dan ukuran model. Jika tugas Anda membutuhkan fakta setelah 2023-12-31, rencanakan untuk menyediakannya di prompt atau melalui retrieval. Jika Anda membutuhkan input gambar atau audio, model ini tidak menerimanya, dan model multimodal akan lebih cocok. Untuk penalaran tersulit atau kualitas generasi yang paling menuntut, model yang lebih besar dalam keluarga yang sama mungkin lebih cocok untuk Anda, sementara versi 8B ini tetap menjadi pilihan yang solid untuk pekerjaan bervolume tinggi dengan kompleksitas lebih rendah.