Cohere: Command R (08-2024)

Command R (08-2024) es un modelo de generación de texto de Cohere, identificado en api14 como cohere/command-r-08-2024. Es una actualización del modelo Command R anterior, publicado por el proveedor el 30 de agosto de 2024, y mantiene el mismo rol general en la línea de Cohere mientras mejora el original. La actualización se centra en un mejor rendimiento para la generación aumentada por recuperación (RAG) multilingüe y el uso de herramientas, y también es más fuerte en matemáticas, código y razonamiento que la versión a la que reemplaza.

El modelo trabaja solo con texto de entrada y texto de salida. Acepta prompts de texto y devuelve completados de texto, sin entrada de imagen o audio. La ventana de contexto es de 128.000 tokens, lo cual es suficientemente grande para contener documentos largos, conversaciones de varios turnos o varios pasajes recuperados junto con las instrucciones. La salida máxima es de 4.000 tokens por respuesta, y el corte de conocimiento es el 31 de marzo de 2024, por lo que cualquier cosa posterior a esa fecha tiene que venir del prompt o de una llamada a herramienta en lugar de los propios datos de entrenamiento del modelo.

Esas capacidades apuntan a algunos usos prácticos. Dado que el RAG multilingüe es una fortaleza declarada, el modelo es adecuado para responder preguntas sobre una colección de documentos donde las consultas y las fuentes pueden estar en distintos idiomas, con los fragmentos recuperados colocados en la ventana de contexto larga. El uso de herramientas y las salidas estructuradas lo hacen una opción razonable para agentes y flujos de trabajo que necesitan llamar funciones, extraer campos a un esquema o enrutar una solicitud a otro sistema. Las mejoras en matemáticas, código y razonamiento también lo hacen utilizable para tareas de análisis, explicación de código y resolución de problemas paso a paso, aunque el límite de salida de 4.000 tokens significa que los archivos generados largos o los informes muy detallados deben dividirse en varias llamadas.

Se llama a través de la API compatible con OpenAI de api14 usando el id de modelo cohere/command-r-08-2024, por lo que el código existente del SDK de OpenAI funciona con un cambio de URL base y nombre de modelo. Los parámetros de solicitud que admite son frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k y top_p. En la práctica, eso cubre el control de muestreo (temperature, top_p, top_k), el control de repetición (penalizaciones de frecuencia y presencia), la longitud de salida (max_tokens), las secuencias de parada, el muestreo casi determinista mediante seed, y tanto response_format de estilo JSON como structured_outputs para resultados restringidos por esquema. El uso de herramientas se configura con tools y tool_choice.

Vale la pena conocer algunos límites antes de comprometerse. La entrada y la salida son solo texto, así que si necesitas visión o audio, este modelo no es la elección correcta. El techo de salida de 4.000 tokens lo descarta para tareas que deben emitir respuestas únicas muy largas. El corte de conocimiento del 31 de marzo de 2024 significa que la información reciente debe proporcionarse en el prompt o recuperarse mediante herramientas. Y dado que el modelo está posicionado en torno al RAG, el uso de herramientas y el razonamiento en lugar de como un buque insignia general, otro modelo puede encajar mejor cuando tu prioridad está fuera de esas áreas.