MoonshotAI: Kimi K2 0711

Kimi K2 0711은 Moonshot AI의 텍스트 모델이며, api14에서 moonshotai/kimi-k2로 식별됩니다. 이 모델은 총 1조 개의 파라미터와 순전파당 320억 개의 활성 파라미터를 가진 대규모 전문가 혼합(MoE) 언어 모델로, 이는 생성하는 각 토큰마다 네트워크의 일부만 관여한다는 의미입니다. 제공업체 출시일은 2025-07-11이고 모델의 지식 컷오프는 2024-12-31이므로, 그 이후의 내용은 학습 중에 습득한 범위 밖입니다.

이 모델은 텍스트 입력과 텍스트 출력으로 작동합니다. 131,072 토큰의 컨텍스트 윈도우를 받아들이고 단일 응답에서 최대 98,304 토큰을 생성할 수 있으며, 이는 대부분의 채팅 모델에 비해 큰 출력 예산입니다. 이러한 조합은 입력이 길고(문서, 녹취록, 코드베이스) 예상 답변도 긴 경우, 예를 들어 한 줄 답변이 아니라 전체 보고서나 상당한 리팩터링 같은 작업에 적합합니다.

도구 호출을 지원하기 때문에 Kimi K2는 모델이 언제 함수를 호출할지와 어떤 인수를 전달할지 결정하는 에이전트 스타일 워크플로에 맞습니다. 일반적인 용도로는 내부 API를 쿼리하는 다단계 어시스턴트, 대규모 문서 집합에 대한 검색 증강 생성, 장문 요약 및 초안 작성, 주변 컨텍스트를 많이 유지해야 하는 코드 생성 또는 리뷰가 있습니다. 높은 출력 상한은 여러 호출로 나누어야 했을 작업에도 합리적으로 사용할 수 있게 합니다.

api14의 OpenAI 호환 API를 통해 모델 id "moonshotai/kimi-k2"로 호출하므로, 기존 OpenAI SDK와 클라이언트는 기본 URL과 키만 변경하면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, max_tokens, presence_penalty, repetition_penalty, seed, stop, temperature, tool_choice, tools, top_k, top_p입니다. seed가 있다는 것은 더 재현 가능한 샘플링을 가능하게 하고, tools와 tool_choice를 사용하면 함수 스키마를 정의하고 모델이 반드시 하나를 호출해야 하는지 제어할 수 있습니다.

선택할 때 제한을 염두에 두세요. 입력과 출력은 텍스트 전용이므로 이미지나 오디오 작업에는 다른 모델이 필요하고, 131,072 토큰 컨텍스트와 98,304 토큰 출력 상한은 한 요청에서 처리할 수 있는 양을 제한합니다. 지식 컷오프가 2024-12-31이므로 최근 사건은 프롬프트나 도구를 통해 제공하지 않으면 포함되지 않습니다. 짧고 단순한 요청에는 더 작은 모델이 더 적합할 수 있습니다.