Cohere: Command R+ (08-2024)

Command R+ (08-2024)는 Cohere의 텍스트 생성 모델로, 제공업체가 2024년 8월 30일에 출시했습니다. 이는 이전 Command R+ 모델의 업데이트이며, Cohere는 동일한 하드웨어 규모를 유지하면서 이전 버전보다 약 50퍼센트 높은 처리량과 25퍼센트 낮은 지연 시간을 제공한다고 설명합니다. 이전에 Command R+를 사용해 본 적이 있다면, 이는 다른 모델 계열이 아니라 같은 계열의 더 새로운 체크포인트입니다.

이 모델은 텍스트 입력과 텍스트 출력으로 작동합니다. 최대 128,000 토큰의 컨텍스트를 허용하므로 긴 문서, 대화록 또는 여러 턴의 대화를 단일 요청에 담을 수 있습니다. 출력은 응답당 4,000 토큰으로 제한되므로, 매우 긴 생성 문서보다는 답변, 요약 및 구조화된 페이로드에 적합합니다. 지식 컷오프는 2024년 3월 31일이므로, 그 이후의 내용은 프롬프트, 도구 또는 검색에서 가져와야 합니다. 지원되는 매개변수에는 temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format과 함께 도구 호출 및 제약 생성용 tools, tool_choice, structured_outputs가 포함됩니다.

이 기능 세트는 몇 가지 실용적인 패턴을 가리킵니다. 검색 증강 생성은 자연스럽게 맞습니다. 긴 컨텍스트 덕분에 검색된 구절을 질문과 함께 붙여 넣을 수 있습니다. 도구 호출과 구조화된 출력은 모델이 어떤 함수를 호출할지 결정하고 사용자가 정의한 스키마로 인수를 반환하는 에이전트의 추론 단계로 사용할 수 있게 해줍니다. tools와 response_format이 모두 지원되므로 자유 텍스트 답변과 기계 판독 가능한 JSON을 혼합하는 파이프라인을 구축할 수 있습니다. 128,000 토큰 창은 긴 보고서 요약, 계약서에서 필드 추출, 또는 코드베이스나 문서 세트에 대한 질문에 한 번에 답하는 데에도 도움이 됩니다.

api14를 통해서는 OpenAI 호환 chat completions 엔드포인트와 모델 id "cohere/command-r-plus-08-2024"로 호출합니다. 요청은 익숙한 messages 형식을 사용하므로, 기존 OpenAI SDK 클라이언트는 base URL을 api14로 지정하고 모델 이름을 바꾸면 작동합니다. 요청 본문에는 지원되는 매개변수인 temperature, top_p, top_k, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, tools, tool_choice, structured_outputs를 담을 수 있습니다. max_tokens는 생성된 답변을 제어하며, 컨텍스트 창이 훨씬 크더라도 4,000 토큰 출력 상한을 초과할 수 없다는 점에 유의하세요.

두 가지 제약은 미리 계획할 가치가 있습니다. 4,000 토큰 출력 제한은 전체 장이나 큰 코드 파일을 한 응답으로 생성하는 것과 같은 장문 생성이 청킹이나 더 높은 출력 상한을 가진 모델을 필요로 할 수 있음을 의미합니다. 2024년 3월 지식 컷오프는 또한 시간에 민감한 질문이 프롬프트나 도구를 통해 제공하는 내용에 의존한다는 것을 의미합니다. 워크로드가 주로 이미지나 오디오라면 이 모델은 텍스트만 처리하므로 적합하지 않습니다. 이러한 범위 내의 단순한 텍스트 작업에는 합리적인 기본 선택입니다.