Cohere: Command R+ (08-2024)

Command R+ (08-2024) est un modèle de génération de texte de Cohere, publié par le fournisseur le 30 août 2024. Il s'agit d'une mise à jour du modèle Command R+ antérieur, et Cohere le décrit comme offrant un débit environ 50 pour cent plus élevé et des latences 25 pour cent plus faibles que la version précédente, tout en conservant la même empreinte matérielle. Si vous avez déjà utilisé Command R+, il s'agit du point de contrôle plus récent de cette même lignée plutôt que d'une famille de modèles différente.

Le modèle fonctionne avec du texte en entrée et du texte en sortie. Il accepte jusqu'à 128 000 tokens de contexte, ce qui suffit pour contenir de longs documents, des transcriptions ou des conversations à plusieurs tours dans une seule requête. La sortie est plafonnée à 4 000 tokens par réponse, il convient donc aux réponses, aux résumés et aux charges utiles structurées plutôt qu'à la génération de documents très longs. Sa date limite de connaissances est le 31 mars 2024, ce qui signifie que tout ce qui suit cette date doit provenir du prompt, d'outils ou de la récupération. Les paramètres pris en charge incluent temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed et response_format, ainsi que tools, tool_choice et structured_outputs pour l'appel d'outils et la génération contrainte.

Cet ensemble de fonctionnalités renvoie à quelques schémas pratiques. La génération augmentée par récupération est un choix naturel : le contexte long vous permet de coller les passages récupérés à côté de la question. L'appel d'outils et les sorties structurées le rendent utilisable comme étape de raisonnement dans un agent, où le modèle décide quelle fonction appeler et renvoie les arguments dans un schéma que vous définissez. Comme tools et response_format sont tous deux pris en charge, vous pouvez construire des pipelines qui mélangent des réponses en texte libre avec du JSON lisible par machine. La fenêtre de 128 000 tokens aide aussi pour résumer de longs rapports, extraire des champs de contrats, ou répondre à des questions sur une base de code ou un ensemble de documentation en une seule passe.

Via api14, vous l'appelez avec le point de terminaison chat completions compatible OpenAI et l'identifiant de modèle "cohere/command-r-plus-08-2024". Les requêtes utilisent le format messages familier, donc les clients OpenAI SDK existants fonctionnent après avoir pointé l'URL de base vers api14 et remplacé le nom du modèle. Le corps de la requête peut porter n'importe lequel des paramètres pris en charge : temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice et structured_outputs. Notez que max_tokens régit la réponse générée et ne peut pas dépasser le plafond de sortie de 4 000 tokens, même si la fenêtre de contexte est bien plus grande.

Deux contraintes méritent d'être anticipées. La limite de sortie de 4 000 tokens signifie que la génération de texte long, comme des chapitres entiers ou de gros fichiers de code en une seule réponse, peut nécessiter un découpage ou un modèle avec un plafond de sortie plus élevé. La date limite de connaissances de mars 2024 signifie aussi que les questions sensibles au temps dépendent de ce que vous fournissez dans le prompt ou via des outils. Si votre charge de travail est principalement composée d'images ou d'audio, ce modèle ne convient pas, puisqu'il ne traite que du texte. Pour des tâches textuelles simples dans ces limites, c'est un choix par défaut raisonnable.