Cohere: Command R7B (12-2024)

Command R7B (12-2024) est un modèle texte de Cohere, publié par le fournisseur le 14 décembre 2024. Il est décrit comme une mise à jour petite et rapide du modèle Command R+, ce qui le place dans la famille Command de modèles de langage de Cohere, destinée aux charges de travail pratiques et pilotées par outils plutôt qu'au simple chat général. Si vous connaissez déjà la gamme Command, il s'agit de la variante compacte et plus rapide à envisager lorsque vous souhaitez la même couverture de tâches sans un grand modèle.

Le modèle prend du texte en entrée et renvoie du texte en sortie, avec une fenêtre de contexte de 128 000 tokens et une sortie maximale de 4 000 tokens. Sa date limite de connaissances est le 31 août 2024, donc tout ce qui suit cette date est en dehors de ce qu'il a appris pendant l'entraînement. Cohere le positionne comme performant pour la génération augmentée par récupération, l'utilisation d'outils, les agents et les tâches similaires qui nécessitent un raisonnement complexe. Ce sont les capacités autour desquelles planifier : entrées longues, travail structuré ou orienté outils, et raisonnement multi-étapes plutôt que pure écriture créative.

Cette combinaison indique un ensemble de cas d'usage assez spécifique. Les pipelines RAG sont le choix évident, puisque le contexte de 128k vous permet d'intégrer les documents récupérés aux côtés de la question sans réduction agressive. L'utilisation d'outils et les boucles d'agents découlent des mêmes forces, par exemple un modèle qui décide quelle fonction appeler, lit le résultat et continue. Comme les sorties structurées sont prises en charge, vous pouvez aussi l'utiliser pour des tâches d'extraction et de classification où la réponse doit respecter un schéma. Le plafond de sortie de 4 000 tokens mérite d'être noté : il convient aux réponses, aux résumés et aux appels d'outils, mais pas à la génération de longs documents en une seule réponse.

Vous l'appelez via l'API compatible OpenAI d'api14 en utilisant l'identifiant de modèle "cohere/command-r7b-12-2024". Comme l'interface suit la forme des chat completions d'OpenAI, les SDK et clients OpenAI existants fonctionnent généralement avec seulement l'URL de base et l'identifiant de modèle modifiés. Les paramètres de requête pris en charge sont frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k et top_p. La présence de seed est utile lorsque vous voulez un échantillonnage reproductible, et response_format plus structured_outputs sont ceux à utiliser lorsque le code en aval a besoin d'une sortie analysable.

Concernant les limites, les principales contraintes indiquées sont la sortie maximale de 4 000 tokens et la date limite de connaissances du 31 août 2024. Si votre tâche dépend d'informations très récentes, vous devrez les fournir dans le prompt ou via la récupération plutôt que de vous fier aux connaissances propres du modèle. Si vous avez besoin d'entrées d'image ou d'audio, ce modèle ne les accepte pas, car il est uniquement textuel. Dans ces limites, c'est un choix par défaut raisonnable pour le RAG, les agents et les tâches de texte structuré où la vitesse et une longue fenêtre d'entrée importent plus que la génération de texte long.