Cohere: Command R+ (08-2024)

Command R+ (08-2024), sağlayıcı tarafından 30 Ağustos 2024 tarihinde yayımlanan, Cohere'e ait bir metin üretim modelidir. Daha önceki Command R+ modelinin bir güncellemesidir ve Cohere bunu, aynı donanım ayak izini korurken önceki sürüme kıyasla yaklaşık yüzde 50 daha yüksek iş hacmi ve yüzde 25 daha düşük gecikme sunduğu şeklinde tanımlar. Command R+ daha önce kullandıysanız, bu farklı bir model ailesi değil, aynı hattın daha yeni bir kontrol noktasıdır.

Model, metin girişi ve metin çıkışı ile çalışır. 128.000 tokene kadar bağlam kabul eder; bu, uzun belgeleri, transkriptleri veya çok turlu konuşmaları tek bir istekte sığdırmak için yeterlidir. Çıktı, yanıt başına 4.000 token ile sınırlıdır, bu nedenle çok uzun üretilmiş belgelerden ziyade yanıtlar, özetler ve yapılandırılmış yükler için uygundur. Bilgi kesim tarihi 31 Mart 2024'tür; yani bu tarihten sonraki her şey prompt'tan, araçlardan veya geri getirmeden gelmelidir. Desteklenen parametreler arasında temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed ve response_format ile araç çağırma ve kısıtlı üretim için tools, tool_choice ve structured_outputs bulunur.

Bu özellik kümesi birkaç pratik kalıba işaret eder. Geri getirmeyle güçlendirilmiş üretim doğal bir uyumdur: uzun bağlam, geri getirilen pasajları sorunun yanına yapıştırmanıza olanak tanır. Araç çağırma ve yapılandırılmış çıktılar, modelin hangi işlevi çağıracağına karar verdiği ve tanımladığınız bir şemada argümanlar döndürdüğü bir ajan içinde akıl yürütme adımı olarak kullanılabilir hale getirir. Hem tools hem de response_format desteklendiğinden, serbest metin yanıtlarını makine tarafından okunabilir JSON ile karıştıran ardışık düzenler kurabilirsiniz. 128.000 tokenlik pencere ayrıca uzun raporları özetlemek, sözleşmelerden alan çıkarmak veya bir kod tabanı ya da dokümantasyon kümesi üzerinde tek geçişte soruları yanıtlamak için yardımcı olur.

api14 üzerinden, OpenAI uyumlu chat completions uç noktası ve "cohere/command-r-plus-08-2024" model kimliği ile çağırırsınız. İstekler tanıdık messages biçimini kullanır, bu nedenle mevcut OpenAI SDK istemcileri temel URL'yi api14'e yönlendirip model adını değiştirdikten sonra çalışır. İstek gövdesi desteklenen parametrelerden herhangi birini taşıyabilir: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice ve structured_outputs. max_tokens değerinin üretilen yanıtı yönettiğini ve bağlam penceresi çok daha büyük olsa bile 4.000 tokenlik çıktı sınırını aşamayacağını unutmayın.

Planlama yaparken iki kısıtı göz önünde bulundurmak gerekir. 4.000 tokenlik çıktı sınırı, tek bir yanıtta tüm bölümler veya büyük kod dosyaları gibi uzun biçimli üretimin parçalara ayrılması veya daha yüksek çıktı tavanına sahip bir model gerektirebileceği anlamına gelir. Mart 2024 bilgi kesim tarihi ayrıca zamana duyarlı soruların prompt'ta veya araçlar aracılığıyla sağladıklarınıza bağlı olduğu anlamına gelir. İş yükünüz çoğunlukla görseller veya seslerden oluşuyorsa, yalnızca metin işlediği için bu model uygun değildir. Bu sınırlar içindeki basit metin görevleri için makul bir varsayılan seçenektir.