Cohere: Command R+ (08-2024)

O Command R+ (08-2024) é um modelo de geração de texto da Cohere, lançado pelo fornecedor a 30 de agosto de 2024. É uma atualização do modelo Command R+ anterior, e a Cohere descreve-o como entregando aproximadamente 50 por cento mais throughput e 25 por cento menos latência do que a versão anterior, mantendo a mesma pegada de hardware. Se já utilizou o Command R+ antes, este é o checkpoint mais recente dessa mesma linha e não uma família diferente de modelo.

O modelo funciona com texto de entrada e texto de saída. Aceita até 128.000 tokens de contexto, o que é suficiente para acomodar documentos longos, transcrições ou conversas com vários turnos num único pedido. A saída está limitada a 4.000 tokens por resposta, pelo que é adequado para respostas, resumos e payloads estruturados e não para documentos gerados muito longos. O seu corte de conhecimento é 31 de março de 2024, o que significa que qualquer coisa posterior a essa data tem de vir do prompt, de ferramentas ou de retrieval. Os parâmetros suportados incluem temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed e response_format, além de tools, tool_choice e structured_outputs para chamada de ferramentas e geração restringida.

Esse conjunto de funcionalidades aponta para alguns padrões práticos. A geração aumentada por retrieval é um encaixe natural: o contexto longo permite colar passagens recuperadas ao lado da pergunta. A chamada de ferramentas e as saídas estruturadas tornam-no utilizável como o passo de raciocínio num agente, onde o modelo decide que função chamar e devolve argumentos num esquema que define. Como tanto tools como response_format são suportados, pode construir pipelines que misturam respostas em texto livre com JSON legível por máquina. A janela de 128.000 tokens também ajuda a resumir relatórios longos, extrair campos de contratos ou responder a perguntas sobre uma base de código ou conjunto de documentação numa só passagem.

Através da api14 chama-o com o endpoint chat completions compatível com OpenAI e o id de modelo "cohere/command-r-plus-08-2024". Os pedidos usam o formato familiar de messages, pelo que clientes existentes do SDK da OpenAI funcionam depois de apontar o base URL para a api14 e trocar o nome do modelo. O corpo do pedido pode transportar qualquer um dos parâmetros suportados: temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice e structured_outputs. Note que max_tokens governa a resposta gerada e não pode exceder o limite de saída de 4.000 tokens, mesmo que a janela de contexto seja muito maior.

Há duas restrições que vale a pena planear. O limite de saída de 4.000 tokens significa que a geração de forma longa, como capítulos inteiros ou ficheiros de código grandes numa só resposta, pode precisar de chunking ou de um modelo com um teto de saída mais elevado. O corte de conhecimento de março de 2024 também significa que perguntas sensíveis ao tempo dependem daquilo que fornecer no prompt ou através de ferramentas. Se a sua carga de trabalho for sobretudo imagens ou áudio, este modelo não é o adequado, uma vez que só lida com texto. Para tarefas de texto simples dentro desses limites, é um padrão razoável.