Cohere: Command R (08-2024)

Command R (08-2024), api14 üzerinde cohere/command-r-08-2024 olarak tanımlanan, Cohere'e ait bir metin üretme modelidir. Sağlayıcı tarafından 30 Ağustos 2024 tarihinde yayımlanan önceki Command R modelinin bir güncellemesidir ve Cohere'in ürün yelpazesindeki genel rolünü korurken özgün sürüme göre iyileştirmeler sunar. Güncelleme, çok dilli retrieval-augmented generation (RAG) ve araç kullanımı için daha iyi performansa odaklanır; ayrıca yerini aldığı sürüme kıyasla matematik, kod ve akıl yürütme konularında da daha güçlüdür.

Model yalnızca metin girişi ve metin çıkışı ile çalışır. Metin istemlerini kabul eder ve metin tamamlamaları döndürür; görüntü veya ses girişi yoktur. Bağlam penceresi 128.000 tokendır; bu, uzun belgeleri, çok turlu konuşmaları veya birkaç getirilmiş pasajı yönergelerle birlikte tutacak kadar büyüktür. Yanıt başına en fazla çıktı 4.000 tokendır ve bilgi kesim tarihi 31 Mart 2024'tür; dolayısıyla bu tarihten sonraki her şey modelin kendi eğitim verisinden değil, istemden veya bir araç çağrısından gelmelidir.

Bu yetenekler birkaç pratik kullanıma işaret eder. Çok dilli RAG belirtilen bir güç olduğu için model, sorguların ve kaynakların farklı dillerde olabileceği bir belge koleksiyonu üzerinde soru yanıtlama için uygundur; getirilen parçalar uzun bağlam penceresine yerleştirilir. Araç kullanımı ve yapılandırılmış çıktılar, işlev çağırması, alanları bir şemaya çıkarması veya bir isteği başka bir sisteme yönlendirmesi gereken ajanlar ve iş akışları için makul bir uyum sağlar. Matematik, kod ve akıl yürütmedeki iyileştirmeler de modeli analiz görevleri, kod açıklama ve adım adım problem çözme için kullanılabilir kılar; ancak 4.000 tokenlık çıktı sınırı, uzun üretilmiş dosyaların veya çok ayrıntılı raporların çağrılar arasında bölünmesi gerektiği anlamına gelir.

Modele api14'ün OpenAI uyumlu API'si üzerinden cohere/command-r-08-2024 model kimliğini kullanarak erişirsiniz; böylece mevcut OpenAI SDK kodu, temel URL ve model adı değiştirilerek çalışır. Desteklediği istek parametreleri frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k ve top_p'dir. Pratikte bu, örnekleme denetimi (temperature, top_p, top_k), yineleme denetimi (frequency ve presence cezaları), çıktı uzunluğu (max_tokens), durdurma dizileri, seed aracılığıyla deterministiğe yakın örnekleme ve şema kısıtlı sonuçlar için hem JSON tarzı response_format hem de structured_outputs kapsar. Araç kullanımı tools ve tool_choice ile yapılandırılır.

Karar vermeden önce bilinmesi gereken birkaç sınır vardır. Giriş ve çıkış yalnızca metindir; görüntü veya ses gerekiyorsa bu model doğru seçim değildir. 4.000 tokenlık çıktı tavanı, çok uzun tek yanıtlar üretmesi gereken görevler için modeli uygunsuz kılar. 31 Mart 2024 bilgi kesim tarihi, güncel bilgilerin istemde sağlanması veya araçlar yoluyla getirilmesi gerektiği anlamına gelir. Model genel bir amiral gemisi olarak değil, RAG, araç kullanımı ve akıl yürütme etrafında konumlandırıldığı için önceliğiniz bu alanların dışındaysa farklı bir model daha iyi uyabilir.