Meta: Llama 3.1 70B Instruct, Meta tarafından 2024-07-23 tarihinde yayımlanan bir metin modelidir. Mistral: Saba, Mistral tarafından 2025-02-17 tarihinde yayımlanan bir metin modelidir. Her ikisi de api14 üzerinden sohbet tamamlama modeli olarak sunulur ve her ikisi de metin istemlerini kabul edip metin döndürür. Temel yapısal fark, Saba'nın ayrıca dosya girdilerini kabul etmesidir, böylece belgenin içeriğini mesaja yapıştırmak yerine isteminizin yanında bir belge iletebilirsiniz.
İki model en belirgin şekilde bağlam penceresi ve kipler konusunda ayrışır. Llama 3.1 70B Instruct 131072 token bağlam uzunluğuna sahipken Saba 32768 token'a sahiptir, yani Llama uzun girdiler için size yaklaşık dört kat daha fazla alan verir. Saba ikisi arasında dosya girdisi alan tek modeldir; Llama 3.1 70B Instruct metin girer, metin çıkarır. Parametrelerde Llama, Saba'nın listelemediği logit_bias, min_p, repetition_penalty ve top_k dahil olmak üzere daha geniş bir küme sunar. Her ikisi de tools, tool_choice, structured_outputs, response_format, seed, stop, temperature, top_p, frequency_penalty, presence_penalty ve max_tokens destekler, yani işlev çağırma ve JSON tarzı çıktı her iki tarafta da kullanılabilir. Fiyatta, Saba girdi için daha ucuz seçenekken Llama 3.1 70B Instruct çıktı için daha ucuz seçenektir, yani daha iyi anlaşma ne kadar gönderdiğinize karşı ne kadar ürettiğinize bağlıdır.
Pratik seçim için, isteminiz veya konuşmanız uzun olduğunda, logit_bias, min_p, repetition_penalty veya top_k gibi ek örnekleme kontrollerine ihtiyaç duyduğunuzda ya da iş yükünüz çıktı ağırlıklıysa ve daha ucuz çıktı ücreti daha önemliyse Llama 3.1 70B Instruct'a yönelin. Modele metnini kendiniz çıkarmak yerine doğrudan bir dosya vermek istediğinizde, girdileriniz 32768 token içine rahatça sığdığında ya da iş yükünüz girdi ağırlıklıysa ve daha ucuz girdi ücreti daha önemliyse Mistral: Saba'ya yönelin. Emin değilseniz, bağlam penceresi genellikle belirleyici faktördür: 32768 token'ı aşacak her şey Llama'ya gitmelidir.
Her iki modeli api14 üzerinden çağırmak aynı şekilde çalışır çünkü API OpenAI uyumludur. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin, anahtarınızı gönderin ve model alanını istediğiniz kimliğe ayarlayın. Modelleri değiştirmek için yalnızca bu dizeyi "meta-llama/llama-3.1-70b-instruct" ile "mistralai/mistral-saba" arasında değiştirirsiniz. İstek şekli, messages dizisi ve yanıt ayrıştırma aynı kalır, böylece tek bir satırı düzenleyerek bir çağrıyı bir modelden diğerine taşıyabilir veya çalışma zamanında girdi uzunluğuna ya da dosya eklenip eklenmediğine göre aralarında yönlendirme yapabilirsiniz.
Seçiminizi yaptıktan sonra bile diğer modelin daha iyi seçim olduğu durumlar vardır. Dosya girdisi ve daha ucuz girdi ücreti için Saba ile başlarsanız, ancak bir istek 32768 token'ı aşarsa ya da logit_bias, min_p, repetition_penalty veya top_k gerekirse, bunu karşılayabilecek olan Llama 3.1 70B Instruct'tır. Uzun bağlamı ve daha ucuz çıktısı için Llama ile başlarsanız, ancak bir belgeyi metnini yapıştırmak yerine dosya olarak vermeyi tercih ederseniz, Saba bunu karşılar. Hiçbir model kesin olarak daha iyi değildir; seçim girdi boyutunuzu, dosya girdilerine ihtiyaç duyup duymadığınızı, hangi örnekleme parametrelerine güvendiğinizi ve token harcamanızın girdiye mi yoksa çıktıya mı yöneldiğini izler.