Nous: Hermes 3 405B Instruct

Nous Hermes 3 405B Instruct, Nous Research tarafından 16 Ağustos 2024 tarihinde yayımlanan bir metin üretim modelidir. Hermes 2 üzerine bir yükseltme olarak inşa edilmiş genel amaçlı bir dil modelidir ve sağlayıcı, ajan yetenekleri, rol yapma, akıl yürütme, çok turlu konuşma ve uzun bağlam tutarlılığı konularında iyileştirmeler tanımlamaktadır. api14 üzerindeki model id değeri nousresearch/hermes-3-llama-3.1-405b şeklindedir.

Model metin girdisi kabul eder ve metin çıktısı döndürür, bu nedenle standart sohbet ve tamamlama tarzı iş yüklerine uygundur. 131.072 token bağlam penceresine ve 16.384 token maksimum çıktıya sahiptir; bu, çok uzun istemler, belgeler veya konuşma geçmişleri gönderebileceğiniz ve yine de kayda değer bir yanıt için yer bırakabileceğiniz anlamına gelir. Bilgi kesim tarihi 31 Aralık 2023'tür, dolayısıyla bu tarihten sonraki her şey eğitim sırasında öğrendiklerinin dışındadır.

Uzun bağlam ve çok turlu konuşma ile ajan davranışına yapılan vurgu nedeniyle model; uzun belge soru yanıtlama, büyük girdilerden özetleme veya çıkarım yapma, birçok tur boyunca tutarlı diyalog sürdürme ve araç kullanan veya çok adımlı ajanlar oluşturma gibi görevlere uygundur. Rol yapma ve akıl yürütme iyileştirmeleri de onu karakter odaklı sohbet, yapılandırılmış beyin fırtınası ve modelin uzun bir oturum boyunca bir persona veya ayrıntılı bir talimat kümesini izlemesi gereken görevler için makul bir seçim haline getirir.

Modele api14'ün OpenAI uyumlu API'si üzerinden nousresearch/hermes-3-llama-3.1-405b model id değerini kullanarak çağrı yaparsınız; bu, mevcut OpenAI SDK'larının ve istemcilerinin yalnızca temel URL ve anahtar değiştirilerek çalıştığı anlamına gelir. Desteklediği istek parametreleri frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k ve top_p'dir. response_format ve structured_outputs parametrelerinin varlığı, serbest metin yerine JSON veya şema biçimli çıktıya ihtiyaç duyduğunuzda kullanışlıdır ve seed, daha tekrarlanabilir üretimler istediğinizde yardımcı olur.

Çıktı üst sınırını aklınızda tutun: 16.384 token çoğu sohbet yanıtı için cömerttir ancak tek bir çağrıda çok uzun belgeler üretmek için değildir, bu nedenle daha fazlasına ihtiyacınız varsa parçalama planlayın. 31 Aralık 2023 bilgi kesim tarihi ayrıca zamana duyarlı soruların istemde sağlanan erişim veya güncel bağlam gerektirdiği anlamına gelir. İş yükünüz tamamen metinse ve bu sınırlara uyuyorsa, bu model basit bir seçenektir; görüntü veya ses girdisine ihtiyacınız varsa farklı bir modele ihtiyacınız olur, çünkü bu model yalnızca metni işler.