Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct adalah model generasi teks dari Meta, bagian dari keluarga Llama 3.1 yang diluncurkan pada 23 Juli 2024. Ini adalah versi dengan 70 miliar parameter, yang disetel untuk mengikuti instruksi, yang berarti model ini dirancang untuk merespons prompt dan melakukan dialog, bukan sekadar melanjutkan teks mentah. Meta memposisikan varian instruct ini sebagai model yang dioptimalkan untuk kasus penggunaan dialog berkualitas tinggi, dan posisinya berada di tengah rentang Llama 3.1 dari segi ukuran.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output, jadi ini adalah model bahasa murni tanpa penanganan gambar, audio, atau video. Jendela konteksnya adalah 131.072 token, yang cukup besar untuk menampung dokumen panjang, percakapan yang diperpanjang, atau file kode berukuran besar dalam satu permintaan. Panjang output maksimum adalah 16.384 token, sehingga respons bisa substansial tetapi dibatasi jauh di bawah batas input. Batas pengetahuan (knowledge cutoff) nya adalah 31 Desember 2023, yang berarti apa pun setelah tanggal itu berada di luar apa yang dipelajarinya selama pelatihan.

Karakteristik tersebut menunjukkan serangkaian penggunaan praktis yang cukup jelas. Konteks panjang cocok untuk peringkasan dan tanya jawab atas dokumen yang panjang, peninjauan kontrak, sintesis riset, dan obrolan multi giliran di mana bagian awal percakapan perlu tetap terlihat. Penyetelan instruksi membuatnya cukup cocok untuk asisten, penyusunan draf, penulisan ulang, klasifikasi, dan tugas ekstraksi. Karena model ini mendukung pemanggilan alat (tool calling) dan output terstruktur, model ini juga dapat digunakan dalam pipeline di mana model perlu mengembalikan data dalam bentuk yang telah ditentukan atau memanggil fungsi eksternal, bukan hanya menghasilkan teks bebas.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id meta-llama/llama-3.1-70b-instruct. Karena antarmukanya mengikuti skema OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke base URL api14 dan meneruskan id tersebut di field model. Parameter permintaan yang didukungnya adalah frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, dan top_p. Itu mencakup kontrol sampling yang biasa, output deterministik melalui seed, urutan stop, serta mode pemanggilan alat dan output terstruktur.

Ada beberapa batasan yang perlu diingat saat memutuskan. Output dibatasi pada 16.384 token meskipun jendela konteksnya jauh lebih besar, sehingga tugas yang membutuhkan respons tunggal yang sangat panjang mungkin perlu dipecah atau menggunakan model lain. Batas pengetahuan 31 Desember 2023 berarti peristiwa terkini tidak tercakup kecuali Anda menyediakannya di prompt. Dan karena input dan output hanya berupa teks, apa pun yang melibatkan gambar atau audio berada di luar kemampuan model ini.