Cohere: Command R (08-2024)

Command R (08-2024) é um modelo de geração de texto da Cohere, identificado em api14 como cohere/command-r-08-2024. É uma atualização do modelo Command R anterior, lançado pelo fornecedor em 30 de agosto de 2024, e mantém o mesmo papel geral na linha da Cohere, melhorando o original. A atualização foca em melhor desempenho para geração aumentada por recuperação (RAG) multilíngue e uso de ferramentas, e também é mais forte em matemática, código e raciocínio do que a versão que substitui.

O modelo trabalha apenas com texto de entrada e texto de saída. Aceita prompts de texto e retorna completações de texto, sem entrada de imagem ou áudio. A janela de contexto é de 128.000 tokens, o que é suficiente para conter documentos longos, conversas de vários turnos ou várias passagens recuperadas junto com as instruções. A saída máxima é de 4.000 tokens por resposta, e o corte de conhecimento é 31 de março de 2024, então qualquer coisa após essa data tem que vir do prompt ou de uma chamada de ferramenta, em vez dos dados de treinamento do próprio modelo.

Essas capacidades apontam para alguns usos práticos. Como o RAG multilíngue é uma força declarada, o modelo é adequado para perguntas e respostas sobre uma coleção de documentos onde consultas e fontes podem estar em idiomas diferentes, com trechos recuperados colocados na janela de contexto longa. O uso de ferramentas e as saídas estruturadas o tornam uma opção razoável para agentes e fluxos de trabalho que precisam chamar funções, extrair campos para um esquema ou encaminhar uma solicitação para outro sistema. As melhorias em matemática, código e raciocínio também o tornam utilizável para tarefas de análise, explicação de código e resolução de problemas passo a passo, embora o limite de saída de 4.000 tokens signifique que arquivos gerados longos ou relatórios muito detalhados precisam ser divididos entre chamadas.

Você o chama através da API compatível com OpenAI do api14 usando o id de modelo cohere/command-r-08-2024, então o código existente do SDK da OpenAI funciona com uma mudança de URL base e nome do modelo. Os parâmetros de requisição suportados são frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k e top_p. Na prática, isso cobre controle de amostragem (temperature, top_p, top_k), controle de repetição (penalidades de frequência e presença), comprimento de saída (max_tokens), sequências de parada, amostragem quase determinística via seed, e tanto response_format no estilo JSON quanto structured_outputs para resultados restritos por esquema. O uso de ferramentas é configurado com tools e tool_choice.

Alguns limites vale a pena conhecer antes de se comprometer. Entrada e saída são apenas texto, então se você precisa de visão ou áudio, este modelo não é a escolha certa. O teto de saída de 4.000 tokens o descarta para tarefas que devem emitir respostas únicas muito longas. O corte de conhecimento de 31 de março de 2024 significa que informações recentes devem ser fornecidas no prompt ou obtidas através de ferramentas. E como o modelo é posicionado em torno de RAG, uso de ferramentas e raciocínio, em vez de ser um carro-chefe geral, um modelo diferente pode se encaixar melhor quando sua prioridade está fora dessas áreas.