Cohere: Command R (08-2024)

Command R (08-2024) est un modèle de génération de texte de Cohere, identifié sur api14 comme cohere/command-r-08-2024. Il s'agit d'une mise à jour du modèle Command R antérieur, publiée par le fournisseur le 30 août 2024, et il conserve le même rôle global dans la gamme de Cohere tout en améliorant l'original. La mise à jour se concentre sur de meilleures performances pour la génération augmentée par récupération (RAG) multilingue et l'utilisation d'outils, et il est également plus performant en mathématiques, en code et en raisonnement que la version qu'il remplace.

Le modèle fonctionne uniquement avec du texte en entrée et du texte en sortie. Il accepte des invites textuelles et renvoie des complétions textuelles, sans entrée d'image ni d'audio. La fenêtre de contexte est de 128 000 tokens, ce qui est suffisamment grand pour contenir de longs documents, des conversations à plusieurs tours ou plusieurs passages récupérés en plus des instructions. La sortie maximale est de 4 000 tokens par réponse, et la date limite de connaissances est le 31 mars 2024, donc tout ce qui suit cette date doit provenir de l'invite ou d'un appel d'outil plutôt que des données d'entraînement du modèle.

Ces capacités indiquent quelques usages pratiques. Comme le RAG multilingue est une force annoncée, le modèle convient pour répondre à des questions sur une collection de documents où les requêtes et les sources peuvent être dans différentes langues, avec les segments récupérés placés dans la longue fenêtre de contexte. L'utilisation d'outils et les sorties structurées en font un choix raisonnable pour les agents et les flux de travail qui doivent appeler des fonctions, extraire des champs dans un schéma ou router une requête vers un autre système. Les améliorations en mathématiques, en code et en raisonnement le rendent également utilisable pour des tâches d'analyse, l'explication de code et la résolution de problèmes étape par étape, bien que la limite de sortie de 4 000 tokens signifie que les longs fichiers générés ou les rapports très détaillés doivent être répartis sur plusieurs appels.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle cohere/command-r-08-2024, donc le code existant du SDK OpenAI fonctionne avec un changement d'URL de base et de nom de modèle. Les paramètres de requête pris en charge sont frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k et top_p. En pratique, cela couvre le contrôle d'échantillonnage (temperature, top_p, top_k), le contrôle de répétition (pénalités de fréquence et de présence), la longueur de sortie (max_tokens), les séquences d'arrêt, un échantillonnage quasi déterministe via seed, ainsi que response_format de style JSON et structured_outputs pour des résultats contraints par un schéma. L'utilisation d'outils est configurée avec tools et tool_choice.

Quelques limites méritent d'être connues avant de vous engager. L'entrée et la sortie sont uniquement du texte, donc si vous avez besoin de vision ou d'audio, ce modèle n'est pas le bon choix. Le plafond de sortie de 4 000 tokens l'exclut pour les tâches qui doivent émettre des réponses uniques très longues. La date limite de connaissances du 31 mars 2024 signifie que les informations récentes doivent être fournies dans l'invite ou récupérées via des outils. Et comme le modèle est positionné autour du RAG, de l'utilisation d'outils et du raisonnement plutôt que comme un modèle phare généraliste, un autre modèle peut mieux convenir lorsque votre priorité se situe en dehors de ces domaines.