Meta: Llama 3.1 70B Instruct lawan Qwen2.5 72B Instruct
Perbandingan berdampingan Meta: Llama 3.1 70B Instruct (US$2,52 / 1 jt token (≈ Rp 45.562)) dan Qwen2.5 72B Instruct (US$1,26 / 1 jt token (≈ Rp 22.781)) menggunakan harga USD dan kemampuan terkini dari katalog api14. Keduanya berjalan melalui API yang sama dan kompatibel dengan OpenAI.
Spesifikasi
| Meta: Llama 3.1 70B Instruct | Qwen2.5 72B Instruct | |
|---|---|---|
| Penyedia | Meta | Qwen |
| Masukan | US$2,52 / 1 jt token (≈ Rp 45.562) | US$1,26 / 1 jt token (≈ Rp 22.781) |
| Keluaran | US$2,52 / 1 jt token (≈ Rp 45.562) | US$1,40 / 1 jt token (≈ Rp 25.312) |
| Jendela konteks | 131.072 | 32.768 |
| Output maks. | 8.192 | 16.384 |
| Masukan | text | text |
| Keluaran | text | text |
| panggilan alat | ||
| Output terstruktur | ||
| Pengaturan penalaran | ||
| Ditambahkan | 23 Jul 2024 | 19 Sep 2024 |
Perbedaan utama
- Qwen2.5 72B Instruct 50% lebih murah untuk token input.
- Qwen2.5 72B Instruct 44% lebih murah untuk token output.
- Meta: Llama 3.1 70B Instruct membaca konteks 4.0× lebih banyak (131.072 token).
- Hanya Qwen2.5 72B Instruct yang mendukung panggilan alat.
- Hanya Qwen2.5 72B Instruct yang mendukung output JSON terstruktur.
- Permintaan dengan 1.000 token input dan 500 token output berbiaya US$0,00378 dengan Meta: Llama 3.1 70B Instruct dan US$0,00196 dengan Qwen2.5 72B Instruct.
Lebih mendalam
Meta: Llama 3.1 70B Instruct adalah model teks dari Meta, dirilis pada 2024-07-23. Qwen2.5 72B Instruct adalah model teks dari Qwen, dirilis pada 2024-09-19. Keduanya berada di kelas bobot yang kurang lebih sama, sekitar tujuh puluh miliar parameter, dan keduanya diinstruction tune untuk chat dan pekerjaan asisten umum. Keduanya bukan model kecil, jadi keduanya ditujukan untuk developer yang menginginkan perilaku bahasa umum yang kuat, bukan pekerja keras murah bervolume tinggi.
Perbedaan paling jelas adalah konteks. Llama 3.1 70B Instruct menerima hingga 131072 token, yaitu empat kali jendela 32768 token milik Qwen2.5 72B Instruct. Jika prompt Anda mencakup dokumen panjang, basis kode besar, transkrip panjang, atau banyak chunk hasil retrieval, selisih itu penting dan Llama adalah yang akan muat menampung input tersebut. Pada modalitas, keduanya identik: teks masuk, teks keluar, tidak ada penanganan gambar atau audio di kedua sisi. Daftar parameter yang didukung juga sama persis, jadi keduanya menyediakan temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools, dan tool_choice. Tidak ada kemampuan yang dimiliki salah satu namun tidak dimiliki yang lain dalam daftar itu, jadi pilihan tidak ditentukan oleh dukungan fitur.
Untuk pemilihan praktis, mulailah dari ukuran input. Retrieval konteks panjang, peninjauan seluruh file, peringkasan multi dokumen, dan apa pun yang jika tidak demikian akan Anda chunk secara agresif mengarah ke Llama 3.1 70B Instruct, semata karena jendelanya lebih besar. Untuk tugas yang lebih pendek dan terdefinisi dengan baik seperti giliran chat, pemanggilan fungsi tunggal, klasifikasi, ekstraksi dari satu atau dua paragraf, dan langkah agen di mana setiap permintaan kecil, Qwen2.5 72B Instruct adalah default yang wajar, dan model ini lebih murah di sisi input. Harga output kurang lebih sama untuk keduanya, jadi sisi input adalah tempat perbedaan biaya muncul. Jika beban kerja Anda sebagian besar berupa prompt pendek, keunggulan input untuk Qwen akan terakumulasi; jika prompt Anda panjang, jendela Llama yang lebih besar dapat menyelamatkan Anda dari memecah permintaan sama sekali, yang bisa lebih penting daripada tarif per token.
Memanggil salah satu model melalui api14 bekerja dengan cara yang sama, karena API-nya kompatibel dengan OpenAI. Anda mengarahkan klien OpenAI yang sudah ada ke base URL api14, mengirim key Anda, dan mengatur field model. Untuk menggunakan Llama, atur id model ke meta-llama/llama-3.1-70b-instruct. Untuk menggunakan Qwen, atur ke qwen/qwen-2.5-72b-instruct. Semua hal lain dalam body permintaan, messages, temperature, max_tokens, tools, response_format dan sisanya, tetap seperti semula. Berpindah antara keduanya adalah perubahan satu baris, jadi Anda dapat membandingkan keduanya terhadap prompt Anda sendiri dan memilih per route atau per tugas tanpa menulis ulang integrasi Anda.
Berganti cukup dengan satu string
Kedua model menggunakan endpoint dan bentuk permintaan yang sama. Ubah nilai model dari "meta-llama/llama-3.1-70b-instruct" ke "qwen/qwen-2.5-72b-instruct", prompt, streaming, dan tools tetap berfungsi.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "qwen/qwen-2.5-72b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Perbandingan lainnya
- LiquidAI: LFM3-1.7B lawan Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B lawan Crouton Alpha
- LiquidAI: LFM3-1.7B lawan Tencent: Hy4
- LiquidAI: LFM3-1.7B lawan Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview lawan Crouton Alpha
- Ricursive: Ripple 65B Preview lawan Tencent: Hy4
- Ricursive: Ripple 65B Preview lawan Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha lawan Tencent: Hy4