Meta: Llama 3.1 70B Instruct adalah model teks dari Meta, dirilis pada 2024-07-23. TheDrummer: UnslopNemo 12B adalah model teks dari TheDrummer, dirilis pada 2024-11-08. Keduanya dilayani melalui api14 sebagai model chat completion, dan keduanya menerima teks masuk dan mengembalikan teks keluar, jadi tidak ada yang menangani gambar atau audio. Penamaannya memberi tahu sebagian besar yang perlu Anda ketahui sekilas: satu adalah model instruction tuned serbaguna 70B dari lab besar, yang lain adalah fine tune komunitas 12B yang ditujukan untuk gaya output tertentu.
Perbedaan teknis yang paling jelas adalah panjang konteks. UnslopNemo 12B menerima hingga 1.024.000 token, sedangkan Llama 3.1 70B Instruct menerima hingga 131.072 token. Jika prompt Anda atau kumpulan dokumen yang diambil sangat besar, UnslopNemo adalah yang akan memuatnya tanpa chunking. Perbedaan penting lainnya adalah tooling. Llama 3.1 70B Instruct mendukung tools dan tool_choice, sehingga dapat menjalankan function calling dan loop bergaya agen secara langsung. UnslopNemo 12B tidak mencantumkan parameter tersebut, jadi ini bukan model yang tepat ketika Anda membutuhkan model itu sendiri untuk mengeluarkan panggilan tool terstruktur. Dari segi harga keduanya kurang lebih sama, jadi biaya bukan faktor penentu di sini. Keduanya mendukung structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed dan stop, sehingga sampling dan pembentukan output bekerja dengan cara yang sama di kedua sisi.
Untuk pekerjaan sehari hari, pilih berdasarkan apa yang sebenarnya dibutuhkan tugas. Jika Anda membangun agen, pipeline retrieval yang harus memanggil fungsi, atau apa pun yang membutuhkan model untuk memutuskan tool mana yang akan dipanggil, Llama 3.1 70B Instruct adalah pilihan alami karena ini satu satunya dari keduanya yang memiliki dukungan tool. Jika Anda melakukan peringkasan dokumen panjang, memasukkan codebase atau transkrip besar ke dalam satu permintaan, atau mengerjakan penulisan kreatif dan percakapan di mana Anda menginginkan model yang lebih ringan dengan jendela yang sangat besar, UnslopNemo 12B lebih cocok. Untuk instruction following biasa, klasifikasi, ekstraksi atau penulisan ulang di mana input muat dengan nyaman dalam 131.072 token dan tidak ada tool yang terlibat, kedua model akan melakukan pekerjaan itu, dan Anda dapat memilih berdasarkan gaya output daripada kemampuan.
Memanggil salah satu model melalui api14 bekerja dengan cara yang sama, karena API ini kompatibel dengan OpenAI. Anda mengarahkan klien Anda ke base URL api14, mengirim permintaan chat completions normal dengan array messages Anda, dan mengatur field model. Untuk menggunakan Llama 3.1 70B Instruct, atur model ke meta-llama/llama-3.1-70b-instruct. Untuk menggunakan UnslopNemo 12B, atur model ke thedrummer/unslopnemo-12b. Semua hal lain dalam body permintaan, termasuk temperature, max_tokens, stop dan structured_outputs, tetap seperti adanya. Beralih antara keduanya adalah perubahan satu baris, jadi Anda dapat menyimpan keduanya di balik nilai config dan merutekan per permintaan tanpa menulis ulang integrasi Anda.
Ada satu kasus yang perlu disebutkan ke arah sebaliknya. Meskipun UnslopNemo 12B memiliki jendela konteks yang jauh lebih besar, ia tidak mendukung tools, jadi jika tugas konteks panjang juga membutuhkan function calling, Llama 3.1 70B Instruct tetap menjadi pilihan yang tepat meskipun jendelanya lebih kecil. Anda kemudian perlu memotong input Anda agar tetap dalam 131.072 token daripada melepaskan penggunaan tool.