Cohere: Command R7B (12-2024)

Command R7B (12-2024) es un modelo de texto de Cohere, publicado por el proveedor el 14 de diciembre de 2024. Se describe como una actualización pequeña y rápida del modelo Command R+, lo que lo sitúa en la familia Command de modelos de lenguaje de Cohere, orientada a cargas de trabajo prácticas impulsadas por herramientas más que al chat general por sí solo. Si ya conoces la línea Command, esta es la variante compacta y más rápida a considerar cuando quieres el mismo estilo de cobertura de tareas sin un modelo grande.

El modelo recibe texto y devuelve texto, con una ventana de contexto de 128.000 tokens y una salida máxima de 4.000 tokens. Su fecha de corte de conocimiento es el 31 de agosto de 2024, por lo que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento. Cohere lo posiciona como fuerte en generación aumentada por recuperación, uso de herramientas, agentes y tareas similares que requieren razonamiento complejo. Esas son las capacidades con las que hay que planificar: entradas largas, trabajo estructurado u orientado a herramientas y razonamiento de varios pasos en lugar de escritura creativa pura.

Esa combinación apunta a un conjunto bastante específico de casos de uso. Los pipelines de RAG son el encaje obvio, ya que el contexto de 128k permite incluir documentos recuperados junto a la pregunta sin recortes agresivos. El uso de herramientas y los bucles de agentes se derivan de las mismas fortalezas, por ejemplo un modelo que decide qué función llamar, lee el resultado y continúa. Como se admiten salidas estructuradas, también puedes usarlo para tareas de extracción y clasificación en las que la respuesta debe ajustarse a un esquema. El límite de salida de 4.000 tokens merece mención: sirve para respuestas, resúmenes y llamadas a herramientas, pero no para generar documentos largos en una sola respuesta.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "cohere/command-r7b-12-2024". Como la interfaz sigue la forma de chat completions de OpenAI, los SDK y clientes de OpenAI existentes generalmente funcionan con solo cambiar la URL base y el id de modelo. Los parámetros de solicitud que admite son frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k y top_p. La presencia de seed es útil cuando quieres un muestreo reproducible, y response_format junto con structured_outputs son los que debes usar cuando el código posterior necesita una salida analizable.

En cuanto a los límites, las principales restricciones indicadas son la salida máxima de 4.000 tokens y la fecha de corte de conocimiento del 31 de agosto de 2024. Si tu tarea depende de información muy reciente, tendrás que proporcionarla en el prompt o mediante recuperación en lugar de confiar en el conocimiento propio del modelo. Si necesitas entrada de imagen o audio, este modelo no las acepta, ya que es solo texto. Dentro de esos límites, es una opción predeterminada razonable para RAG, agentes y tareas de texto estructurado donde la velocidad y una ventana de entrada larga importan más que la generación de formato largo.