Cohere: Command R7B (12-2024)

O Command R7B (12-2024) é um modelo de texto da Cohere, lançado pelo fornecedor em 14 de dezembro de 2024. É descrito como uma atualização pequena e rápida do modelo Command R+, o que o coloca na família Command de modelos de linguagem da Cohere, voltada para cargas de trabalho práticas e orientadas a ferramentas, em vez de apenas chat geral. Se você já conhece a linha Command, esta é a variante compacta e mais rápida a considerar quando você quer o mesmo estilo de cobertura de tarefas sem um modelo grande.

O modelo recebe texto e retorna texto, com uma janela de contexto de 128.000 tokens e uma saída máxima de 4.000 tokens. Seu corte de conhecimento é 31 de agosto de 2024, então qualquer coisa após essa data está fora do que ele aprendeu durante o treinamento. A Cohere o posiciona como forte em geração aumentada por recuperação, uso de ferramentas, agentes e tarefas semelhantes que exigem raciocínio complexo. Essas são as capacidades para planejar em torno: entradas longas, trabalho estruturado ou orientado a ferramentas e raciocínio em várias etapas, em vez de escrita puramente criativa.

Essa combinação aponta para um conjunto bastante específico de casos de uso. Pipelines de RAG são o encaixe óbvio, já que o contexto de 128k permite incluir documentos recuperados junto com a pergunta sem cortes agressivos. O uso de ferramentas e os loops de agentes decorrem das mesmas forças, por exemplo, um modelo que decide qual função chamar, lê o resultado e continua. Como saídas estruturadas são suportadas, você também pode usá-lo para tarefas de extração e classificação em que a resposta precisa seguir um esquema. O teto de saída de 4.000 tokens vale a pena notar: ele serve para respostas, resumos e chamadas de ferramentas, mas não para geração de documentos longos em uma única resposta.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo "cohere/command-r7b-12-2024". Como a interface segue o formato de chat completions da OpenAI, SDKs e clientes OpenAI existentes geralmente funcionam apenas com a URL base e o id de modelo alterados. Os parâmetros de requisição suportados são frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. A presença de seed é útil quando você quer amostragem reproduzível, e response_format mais structured_outputs são os que você deve usar quando o código downstream precisa de saída analisável.

Sobre limites, as principais restrições dadas são a saída máxima de 4.000 tokens e o corte de conhecimento de 31 de agosto de 2024. Se sua tarefa depende de informações muito recentes, você precisará fornecê-las no prompt ou por meio de recuperação, em vez de confiar no conhecimento próprio do modelo. Se você precisa de entrada de imagem ou áudio, este modelo não as aceita, pois é apenas texto. Dentro desses limites, ele é um padrão razoável para RAG, agentes e tarefas de texto estruturado em que velocidade e uma janela de entrada longa importam mais do que geração de texto longo.