Cohere: Command R7B (12-2024)

Command R7B (12-2024), sağlayıcı tarafından 14 Aralık 2024 tarihinde yayımlanan Cohere'e ait bir metin modelidir. Command R+ modelinin küçük ve hızlı bir güncellemesi olarak tanımlanır; bu da onu, yalnızca genel sohbet yerine pratik, araç odaklı iş yüklerini hedefleyen Cohere'in Command dil modeli ailesine yerleştirir. Command serisini zaten biliyorsanız, büyük bir model olmadan aynı görev kapsamı tarzını istediğinizde değerlendirebileceğiniz kompakt ve daha hızlı varyant budur.

Model metin alır ve metin döndürür; bağlam penceresi 128.000 token, maksimum çıktısı 4.000 token'dır. Bilgi kesim tarihi 31 Ağustos 2024'tür, dolayısıyla bu tarihten sonraki her şey eğitim sırasında öğrendiklerinin dışındadır. Cohere onu, erişim artırılmış üretim, araç kullanımı, ajanlar ve karmaşık akıl yürütme gerektiren benzer görevlerde güçlü olarak konumlandırır. Planlama yaparken dikkate alınacak yetenekler bunlardır: uzun girdiler, yapılandırılmış veya araç odaklı işler ve saf yaratıcı yazarlık yerine çok adımlı akıl yürütme.

Bu kombinasyon oldukça belirli bir kullanım senaryoları kümesine işaret eder. RAG ardışık düzenleri bariz uyumdur, çünkü 128k bağlam, getirilen belgeleri agresif kırpma yapmadan sorunun yanına sığdırmanıza olanak tanır. Araç kullanımı ve ajan döngüleri de aynı güçlü yönlerden doğar; örneğin hangi fonksiyonun çağrılacağına karar veren, sonucu okuyan ve devam eden bir model. Yapılandırılmış çıktılar desteklendiği için, yanıtın bir şemaya uyması gereken çıkarım ve sınıflandırma görevleri için de kullanabilirsiniz. 4.000 token'lık çıktı tavanı dikkate değerdir: yanıtlar, özetler ve araç çağrıları için uygundur, ancak tek bir yanıtta uzun belge üretimi için değildir.

Modele api14'ün OpenAI uyumlu API'si üzerinden "cohere/command-r7b-12-2024" model kimliğini kullanarak erişirsiniz. Arayüz OpenAI chat completions şeklini izlediği için, mevcut OpenAI SDK'ları ve istemcileri genellikle yalnızca temel URL ve model kimliği değiştirilerek çalışır. Desteklediği istek parametreleri frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k ve top_p'dir. seed parametresinin varlığı, yeniden üretilebilir örnekleme istediğinizde kullanışlıdır; response_format ile structured_outputs ise alt sistem kodunun ayrıştırılabilir çıktıya ihtiyaç duyduğu durumlarda başvurulacak parametrelerdir.

Sınırlar konusunda verilen ana kısıtlar 4.000 token'lık maksimum çıktı ve 31 Ağustos 2024 bilgi kesim tarihidir. Göreviniz çok yeni bilgilere bağlıysa, modelin kendi bilgisine güvenmek yerine bunu istemde veya erişim yoluyla sağlamanız gerekir. Görüntü veya ses girdisine ihtiyacınız varsa, bu model bunları kabul etmez, çünkü yalnızca metindir. Bu sınırlar dahilinde, hızın ve uzun girdi penceresinin uzun biçimli üretimden daha önemli olduğu RAG, ajanlar ve yapılandırılmış metin görevleri için makul bir varsayılan seçenektir.