Meta: Llama 3.1 70B Instruct adalah model teks dari Meta, dirilis pada 2024-07-23. Mistral: Saba adalah model teks dari Mistral, dirilis pada 2025-02-17. Keduanya dilayani melalui api14 sebagai model chat completions, dan keduanya menerima prompt teks dan mengembalikan teks. Perbedaan struktural utamanya adalah Saba juga menerima input file, jadi Anda dapat memberikan dokumen bersama prompt Anda alih-alih menempelkan isinya ke dalam pesan.
Kedua model paling jelas berbeda pada context window dan modalitas. Llama 3.1 70B Instruct memiliki panjang konteks 131072 token, sedangkan Saba memiliki 32768 token, jadi Llama memberi Anda sekitar empat kali ruang untuk input panjang. Saba adalah satu-satunya dari keduanya yang menerima input file; Llama 3.1 70B Instruct adalah teks masuk, teks keluar. Pada parameter, Llama mengekspos kumpulan yang lebih luas, termasuk logit_bias, min_p, repetition_penalty, dan top_k, yang tidak dicantumkan Saba. Keduanya mendukung tools, tool_choice, structured_outputs, response_format, seed, stop, temperature, top_p, frequency_penalty, presence_penalty, dan max_tokens, jadi function calling dan output bergaya JSON tersedia di kedua sisi. Pada harga, Saba adalah opsi yang lebih murah untuk input, sedangkan Llama 3.1 70B Instruct adalah opsi yang lebih murah untuk output, jadi mana yang lebih menguntungkan bergantung pada seberapa banyak yang Anda kirim versus seberapa banyak yang Anda hasilkan.
Untuk pemilihan praktis, pilih Llama 3.1 70B Instruct ketika prompt atau percakapan Anda panjang, ketika Anda memerlukan kontrol sampling tambahan seperti logit_bias, min_p, repetition_penalty, atau top_k, atau ketika beban kerja Anda berat pada output dan tarif output yang lebih murah lebih penting. Pilih Mistral: Saba ketika Anda ingin memberikan file langsung ke model alih-alih mengekstrak teksnya sendiri, ketika input Anda muat dengan nyaman dalam 32768 token, atau ketika beban kerja Anda berat pada input dan tarif input yang lebih murah lebih penting. Jika Anda tidak yakin, context window biasanya menjadi faktor penentu: apa pun yang akan melebihi 32768 token harus menggunakan Llama.
Memanggil salah satu model melalui api14 bekerja dengan cara yang sama karena API-nya kompatibel dengan OpenAI. Anda mengarahkan klien OpenAI yang sudah ada ke base URL api14, mengirim key Anda, dan mengatur field model ke id yang Anda inginkan. Untuk beralih model Anda hanya mengubah string itu, antara "meta-llama/llama-3.1-70b-instruct" dan "mistralai/mistral-saba". Bentuk request, array messages, dan parsing response tetap identik, jadi Anda dapat memindahkan panggilan dari satu model ke model lainnya dengan mengedit satu baris, atau merutekan di antara keduanya saat runtime berdasarkan panjang input atau apakah ada file yang dilampirkan.
Ada kasus di mana model lain tetap menjadi pilihan yang lebih baik bahkan setelah Anda memilih. Jika Anda mulai dengan Saba karena input file dan tarif inputnya yang lebih murah, tetapi sebuah request tumbuh melewati 32768 token atau Anda memerlukan logit_bias, min_p, repetition_penalty, atau top_k, Llama 3.1 70B Instruct adalah model yang dapat melayaninya. Jika Anda mulai dengan Llama karena konteksnya yang panjang dan outputnya yang lebih murah, tetapi Anda lebih suka memberikan dokumen sebagai file daripada menempelkan teksnya, Saba menangani itu. Tidak ada model yang secara mutlak lebih baik; pilihan mengikuti ukuran input Anda, apakah Anda memerlukan input file, parameter sampling mana yang Anda andalkan, dan apakah pengeluaran token Anda condong ke input atau output.