Cohere: Command R7B (12-2024)

Command R7B (12-2024)는 Cohere의 텍스트 모델로, 제공업체가 2024년 12월 14일에 출시했습니다. 이 모델은 Command R+ 모델의 작고 빠른 업데이트로 설명되며, 이는 일반 채팅만이 아니라 실용적이고 도구 기반의 워크로드를 겨냥한 Cohere의 Command 언어 모델 제품군에 속합니다. 이미 Command 라인을 알고 있다면, 대형 모델 없이 같은 스타일의 작업 범위를 원할 때 고려할 수 있는 더 작고 빠른 변형입니다.

이 모델은 텍스트를 입력받아 텍스트를 반환하며, 컨텍스트 윈도우는 128,000 토큰이고 최대 출력은 4,000 토큰입니다. 지식 컷오프는 2024년 8월 31일이므로, 그 이후의 내용은 학습 중에 습득한 범위 밖입니다. Cohere는 이 모델을 검색 증강 생성, 도구 사용, 에이전트, 그리고 복잡한 추론이 필요한 유사 작업에 강하다고 포지셔닝합니다. 이것이 계획해야 할 역량입니다: 긴 입력, 구조화되거나 도구 지향적인 작업, 그리고 순수한 창작 글쓰기보다는 다단계 추론입니다.

이 조합은 상당히 구체적인 사용 사례 집합을 가리킵니다. RAG 파이프라인이 가장 확실한 적합입니다. 128k 컨텍스트 덕분에 검색된 문서를 질문과 함께 과도하게 잘라내지 않고 넣을 수 있기 때문입니다. 도구 사용과 에이전트 루프도 같은 강점에서 이어집니다. 예를 들어 어떤 함수를 호출할지 결정하고, 결과를 읽고, 계속 진행하는 모델입니다. 구조화된 출력이 지원되므로, 응답이 스키마를 준수해야 하는 추출 및 분류 작업에도 사용할 수 있습니다. 4,000 토큰 출력 상한은 주목할 만합니다. 답변, 요약, 도구 호출에는 적합하지만, 단일 응답에서 긴 문서 생성에는 적합하지 않습니다.

이 모델은 모델 id "cohere/command-r7b-12-2024"를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI chat completions 형태를 따르므로, 기존 OpenAI SDK와 클라이언트는 일반적으로 base URL과 모델 id만 변경하면 작동합니다. 지원하는 요청 매개변수는 frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, top_p입니다. seed의 존재는 재현 가능한 샘플링을 원할 때 유용하며, response_format과 structured_outputs는 다운스트림 코드가 파싱 가능한 출력을 필요로 할 때 선택할 항목입니다.

제한 사항에서 제시된 주요 제약은 4,000 토큰 최대 출력과 2024년 8월 31일 지식 컷오프입니다. 작업이 매우 최근 정보에 의존한다면, 모델 자체 지식에 의존하지 말고 프롬프트나 검색을 통해 정보를 제공해야 합니다. 이미지나 오디오 입력이 필요하다면, 이 모델은 텍스트 전용이므로 이를 받지 않습니다. 이러한 범위 안에서 이 모델은 장문 생성보다 속도와 긴 입력 윈도우가 중요한 RAG, 에이전트, 구조화된 텍스트 작업에 합리적인 기본 선택입니다.