Cohere: Command R+ (08-2024)

Command R+ (08-2024) es un modelo de generación de texto de Cohere, lanzado por el proveedor el 30 de agosto de 2024. Es una actualización del modelo anterior Command R+, y Cohere lo describe como un modelo que ofrece aproximadamente un 50 por ciento más de rendimiento y un 25 por ciento menos de latencia que la versión anterior, manteniendo la misma huella de hardware. Si ya has usado Command R+ antes, este es el checkpoint más reciente de esa misma línea, no una familia de modelos diferente.

El modelo trabaja con texto de entrada y texto de salida. Acepta hasta 128.000 tokens de contexto, lo cual es suficiente para incluir documentos largos, transcripciones o conversaciones de varios turnos en una sola solicitud. La salida está limitada a 4.000 tokens por respuesta, por lo que es adecuado para respuestas, resúmenes y cargas útiles estructuradas en lugar de documentos generados muy largos. Su fecha de corte de conocimiento es el 31 de marzo de 2024, lo que significa que cualquier cosa posterior a esa fecha tiene que venir del prompt, de herramientas o de recuperación. Los parámetros admitidos incluyen temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed y response_format, además de tools, tool_choice y structured_outputs para el llamado a herramientas y la generación restringida.

Ese conjunto de características apunta a algunos patrones prácticos. La generación aumentada por recuperación encaja de forma natural: el contexto largo te permite pegar pasajes recuperados junto a la pregunta. El llamado a herramientas y las salidas estructuradas lo hacen utilizable como el paso de razonamiento dentro de un agente, donde el modelo decide qué función llamar y devuelve argumentos en un esquema que tú defines. Como se admiten tanto tools como response_format, puedes construir canalizaciones que combinen respuestas de texto libre con JSON legible por máquina. La ventana de 128.000 tokens también ayuda para resumir informes largos, extraer campos de contratos o responder preguntas sobre una base de código o un conjunto de documentación en una sola pasada.

A través de api14 lo llamas con el endpoint de chat completions compatible con OpenAI y el id de modelo "cohere/command-r-plus-08-2024". Las solicitudes usan el formato messages habitual, por lo que los clientes existentes del SDK de OpenAI funcionan después de apuntar la URL base a api14 y cambiar el nombre del modelo. El cuerpo de la solicitud puede llevar cualquiera de los parámetros admitidos: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice y structured_outputs. Ten en cuenta que max_tokens rige la respuesta generada y no puede superar el límite de salida de 4.000 tokens, aunque la ventana de contexto sea mucho mayor.

Vale la pena planificar en torno a dos restricciones. El límite de salida de 4.000 tokens significa que la generación de formato largo, como capítulos completos o archivos de código grandes en una sola respuesta, puede necesitar fragmentación o un modelo con un techo de salida más alto. La fecha de corte de conocimiento de marzo de 2024 también significa que las preguntas sensibles al tiempo dependen de lo que proporciones en el prompt o a través de herramientas. Si tu carga de trabajo es mayoritariamente de imágenes o audio, este modelo no es el adecuado, ya que solo maneja texto. Para tareas de texto sencillas dentro de esos límites, es una opción predeterminada razonable.