Sao10K: Llama 3.1 Euryale 70B v2.2

Sao10K: Llama 3.1 Euryale 70B v2.2, yaratıcı yazarlık ve rol yapma odaklı ince ayarlarıyla bilinen bir sağlayıcı olan Sao10K'dan gelen bir metin modelidir. Llama 3.1 70B üzerine kuruludur ve Euryale L3 70B v2.1'in halefidir. Sağlayıcı bunu yaratıcı rol yapmaya odaklı olarak tanımlar, dolayısıyla genel amaçlı asistan işlerinden ziyade anlatı ve karakter odaklı sohbet için ayarlanmış açık ağırlıklı stil modelleri alanında yer alır.

Model metin alır ve metin döndürür. 131072 token bağlam penceresine sahiptir, bu da tek bir istekte uzun sohbetleri, genişletilmiş sahneleri veya büyük belgeleri tutmak için yeterince büyüktür. Maksimum çıktı 16384 tokendır, yani tek bir yanıt oldukça uzun olabilir, ancak giriş penceresinden daha küçüktür. Bilgi kesim tarihi 2023-12-31'dir, bu göreviniz o tarihten sonraki olaylara bağlıysa önemlidir. Desteklenen istek parametreleri arasında temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens ve structured_outputs bulunur.

Pratik kullanımlar bu profilden doğar. Yaratıcı rol yapma ve karakter sohbeti en net uyumdur, çünkü model bunlar için ayarlanmıştır. Uzun kurgu, sahne devamı ve etkileşimli hikaye anlatımı da büyük bağlam penceresine uygundur, çünkü önceki anlatının çoğunu kesmeden istemde tutabilirsiniz. Örnekleme parametreleri ton ve tekrar üzerinde ince kontrol sağlar, bu da uzun bir oturum boyunca tutarlı karakter sesi istediğinizde yardımcı olur. Yapılandırılmış çıktılar, modelin serbest düzyazıdan daha öngörülebilir bir şey döndürmesini istediğinizde yararlı olabilir, örneğin bir sahne özeti veya bir rol yapma hattı içindeki bir dizi alan.

Modele api14'ün OpenAI uyumlu API'si üzerinden "sao10k/l3.1-euryale-70b" model id'sini kullanarak erişirsiniz. Arayüz OpenAI uyumlu olduğu için mevcut bir OpenAI istemcisini api14'ün temel URL'sine yönlendirip model alanında bu id'yi geçebilirsiniz. İstek yukarıda listelenen parametreleri destekler, böylece temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens ve structured_outputs değerlerini gerektiği gibi ayarlayabilirsiniz. Sayfadaki canlı fiyat tablosu maliyeti kapsar.

Akılda tutulması gereken bir sınır, 2023-12-31 bilgi kesim tarihidir, dolayısıyla daha yeni bilgi gerektiren hiçbir şey modelin kendisinden gelmeyecektir. 16384 token çıktı sınırı da çok uzun devamların birden fazla çağrı boyunca oluşturulması gerektiği anlamına gelir. Göreviniz yaratıcı yazarlık yerine olgusal soru yanıtlama, kod üretimi veya araç kullanımıysa, genel amaçlı bir model daha iyi uyabilir.