ReMM SLERP 13B

ReMM SLERP 13B, Undi95 tarafından 22 Temmuz 2023'te yayımlanan bir metin üretim modelidir. Sağlayıcısı tarafından, güncellenmiş modeller kullanılarak orijinal MythoMax-L2-B13'ün yeniden oluşturma denemesi olarak tanımlanmaktadır ve bir merge olarak dağıtılmaktadır; bu, ağırlıklarının sıfırdan eğitilmek yerine diğer ince ayarlı modellerden birleştirildiği anlamına gelir. Undi95, topluluk merge'leriyle tanınan bağımsız bir model yayıncısıdır, dolayısıyla bu, büyük bir laboratuvarın birinci taraf sürümü değil, topluluk tarafından oluşturulmuş bir modeldir.

Model metin girdisiyle çalışır ve yalnızca metin çıktısı üretir. 6.144 token'lık bir bağlam penceresine ve 5.529 token'lık maksimum çıktıya sahiptir, bu nedenle uzun istemler yanıt için buna karşılık gelen daha az yer bırakır. Bilgi kesim tarihi 30 Haziran 2023'tür; bu, o tarihten sonraki her şeyin eğitim sırasında öğrendiklerinin dışında olduğu anlamına gelir. Bu sınırlar içinde genel bir talimat takip eden sohbet modeli gibi davranır ve olağan örnekleme kontrolleriyle yönlendirilebilir.

Mütevazı bir bağlam penceresine sahip genel amaçlı bir metin modeli olduğu için sohbet ve diyalog, kısa biçimli yazma ve yeniden yazma, bağlama sığan pasajların özetlenmesi, sağlanan metin üzerinde soru yanıtlama ve karakter veya senaryo yazımı gibi hafif yaratıcı işler gibi görevlere uygundur. MythoMax-L2-B13'e kadar uzanan merge soy hattı, onu konuşma ve rol yapma tarzı istemler için makul bir seçim haline getirir; burada ince ayarı düz bir temel modelden daha ifade edici yanıtlar üretme eğilimindedir. Çok uzun belgeler için iyi bir uyum değildir, çünkü 6.144 token yalnızca birkaç bin kelimeyi kapsar ve görüntü, ses veya başka bir metin dışı girdisi yoktur.

api14'ün OpenAI uyumlu API'si üzerinden "undi95/remm-slerp-l2-13b" model id'sini kullanarak çağırabilirsiniz. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin ve bu id ile bir chat completion isteği gönderin; istek ve yanıt şekilleri OpenAI'dekilerle aynı kalır. Model frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_a, top_k, top_logprobs ve top_p parametrelerini destekler. Bu, standart örnekleme parametrelerini artı birkaç ekstra özelliği kapsar: örnekleme üzerinde daha ince kontrol için min_p, top_a ve repetition_penalty, tekrarlanabilir çalıştırmalar için seed ve çıktıyı tanımlı bir biçimde istediğinizde response_format ve structured_outputs.

Akılda tutulması gereken iki sınır var. 6.144 token'lık bağlam ve 5.529 token'lık çıktı üst sınırı, uzun belge veya büyük kod tabanı işlerini dışlar ve Haziran 2023 bilgi kesim tarihi, modelin daha yeni herhangi bir şeyi bilmeyeceği anlamına gelir. Göreviniz çok daha büyük bir bağlam penceresi, güncel dünya bilgisi veya metin dışı girdi gerektiriyorsa, api14'teki farklı bir model size daha iyi hizmet edecektir.