Nous: Hermes 3 70B Instruct

Nous: Hermes 3 70B Instruct, Nous Research tarafından geliştirilen ve Llama 3.1 70B temeli üzerine inşa edilen bir metin üretim modelidir. Hermes serisinin üçüncü neslidir ve Nous bunu, gelişmiş ajan yetenekleri, daha iyi rol yapma, akıl yürütme, çok turlu konuşma ve uzun bağlam tutarlılığı dahil olmak üzere Hermes 2'ye göre iyileştirmeler içeren genel amaçlı bir dil modeli olarak tanımlar. Model, sağlayıcı tarafından 18 Ağustos 2024 tarihinde yayımlanmıştır ve bilgi kesim tarihi 31 Aralık 2023'tür.

Model metin girdisi kabul eder ve metin çıktısı döndürür, dolayısıyla görüntü veya ses işleme yeteneği olmayan saf bir dil modelidir. Bağlam penceresi 131.072 tokendır; bu, tek bir istekte uzun belgeleri, uzatılmış konuşmaları veya büyük kod dosyalarını tutmak için yeterince büyüktür. Maksimum çıktı 16.384 tokendır, yani yanıtlar uzun olabilir, ancak girdi bağlam boyutunun oldukça altında sınırlandırılmıştır. Bağlam uzun olduğu ve model bu bağlam boyunca tutarlılık için ayarlandığı için, bir konuşmanın veya belgenin önceki bölümlerinin birçok tur sonra ilgili kalması gereken görevlerde kullanılabilir.

Bu yetenekler birkaç pratik kullanıma işaret eder. Ajan tabanlı iş akışları belirtilen bir güçlü yöndür, bu nedenle araç çağırma ve çok adımlı görev düzenleme uygun kullanım alanlarıdır. Rol yapma ve çok turlu konuşma iyileştirmeleri, sohbet asistanlarına, karakter odaklı uygulamalara ve uzun bir oturum boyunca tutarlı kişilik ve hafıza gerektiren etkileşimli deneyimlere uygundur. Akıl yürütme ve uzun bağlam tutarlılığı, modeli belge soru yanıtlama, uzun materyallerin özetlenmesi ve tüm bir dosyanın veya depo bölümünün aynı anda değerlendirilmesi gereken kod yardımı için kullanılabilir kılar. Yapılandırılmış çıktılar da desteklenir; bu, modelin alt süreçlerde ayrıştırma için veriyi sabit bir biçimde döndürmesi gerektiğinde yardımcı olur.

Modeli api14'ün OpenAI uyumlu API'si üzerinden "nousresearch/hermes-3-llama-3.1-70b" model kimliğini kullanarak çağırırsınız. Uç nokta OpenAI sohbet tamamlama biçimini izlediği için, mevcut OpenAI SDK'ları ve istemcileri yalnızca bir temel URL ve anahtar değişikliğiyle çalışır. Desteklenen istek parametreleri frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k ve top_p'dir. seed parametresi yeniden üretilebilir örnekleme sağlar ve structured_outputs üretimi tanımlı bir şemayla sınırlar. min_p, repetition_penalty ve top_k'nin standart OpenAI parametre kümesinin parçası olmadığını unutmayın; bu nedenle istemcinizin bilinmeyen alanları düşürmek yerine bunları ilettiğinden emin olun.

Akılda tutulması gereken ana kısıtlar, yalnızca metin girdisi ve çıktısı, 16.384 token çıktı tavanı ve 31 Aralık 2023 bilgi kesim tarihidir; bu nedenle bu tarihten sonraki her şey modelin eğitim verisinin dışındadır. Göreviniz görüntü veya ses girdisine bağlıysa bu model uygun olmaz ve bunun yerine çok kipli bir modele ihtiyaç duyarsınız. Metin ile belirtilen bağlam ve çıktı sınırları içinde kalan işler için Hermes 3 70B Instruct, api14 ağ geçidi üzerinden basit bir seçimdir.