Cohere: Command R (08-2024)

Command R (08-2024)는 Cohere의 텍스트 생성 모델로, api14에서 cohere/command-r-08-2024로 식별됩니다. 이는 이전 Command R 모델의 업데이트 버전으로, 제공업체가 2024년 8월 30일에 출시했으며, Cohere의 라인업에서 전반적인 역할은 동일하게 유지하면서 원본을 개선했습니다. 이 업데이트는 다국어 검색 증강 생성(RAG)과 도구 사용에서 더 나은 성능에 초점을 맞추고 있으며, 대체하는 버전보다 수학, 코드, 추론에서도 더 강력합니다.

이 모델은 텍스트 입력과 텍스트 출력만 지원합니다. 텍스트 프롬프트를 받아 텍스트 완성을 반환하며, 이미지나 오디오 입력은 없습니다. 컨텍스트 윈도우는 128,000 토큰으로, 긴 문서, 다중 턴 대화 또는 여러 검색된 구절을 지침과 함께 담을 수 있을 만큼 충분히 큽니다. 최대 출력은 응답당 4,000 토큰이며, 지식 컷오프는 2024년 3월 31일이므로 그 이후의 정보는 모델 자체의 학습 데이터가 아니라 프롬프트나 도구 호출에서 와야 합니다.

이러한 기능은 몇 가지 실용적인 용도를 시사합니다. 다국어 RAG가 명시된 강점이므로, 이 모델은 쿼리와 소스가 다른 언어일 수 있는 문서 컬렉션에 대한 질의응답에 적합하며, 검색된 청크를 긴 컨텍스트 윈도우에 배치합니다. 도구 사용과 구조화된 출력은 함수를 호출하거나, 필드를 스키마로 추출하거나, 요청을 다른 시스템으로 라우팅해야 하는 에이전트와 워크플로에 적합합니다. 수학, 코드, 추론의 개선은 분석 작업, 코드 설명, 단계별 문제 해결에도 사용할 수 있게 하지만, 4,000 토큰 출력 제한은 긴 생성 파일이나 매우 상세한 보고서를 여러 호출로 나누어야 함을 의미합니다.

api14의 OpenAI 호환 API를 통해 모델 ID cohere/command-r-08-2024를 사용하여 호출하므로, 기존 OpenAI SDK 코드는 기본 URL과 모델 이름만 변경하면 작동합니다. 지원하는 요청 매개변수는 frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_p입니다. 실제로 이는 샘플링 제어(temperature, top_p, top_k), 반복 제어(frequency 및 presence 페널티), 출력 길이(max_tokens), 중지 시퀀스, seed를 통한 결정론적에 가까운 샘플링, 그리고 스키마 제약 결과를 위한 JSON 스타일 response_format과 structured_outputs를 모두 포함합니다. 도구 사용은 tools와 tool_choice로 구성됩니다.

몇 가지 제한 사항을 알고 결정하는 것이 좋습니다. 입력과 출력은 텍스트 전용이므로 비전이나 오디오가 필요하면 이 모델은 적합하지 않습니다. 4,000 토큰 출력 상한은 매우 긴 단일 응답을 내보내야 하는 작업에는 적합하지 않습니다. 2024년 3월 31일의 지식 컷오프는 최신 정보를 프롬프트에 제공하거나 도구를 통해 가져와야 함을 의미합니다. 또한 이 모델은 범용 플래그십이 아니라 RAG, 도구 사용, 추론을 중심으로 포지셔닝되어 있으므로, 우선순위가 이러한 영역 밖에 있다면 다른 모델이 더 적합할 수 있습니다.