MoonshotAI: Kimi K3 (batch)

MoonshotAI: Kimi K3 (batch)는 Moonshot AI의 텍스트 생성 모델로, api14에서 모델 id moonshotai/kimi-k3:batch로 식별됩니다. 이는 공개 가중치와 2.8조 개의 파라미터를 갖춘 멀티모달 추론 모델이며, 가벼운 채팅보다는 까다로운 작업을 위해 만들어졌습니다. batch 변형은 api14를 통해 호출하는 버전이며, 제공업체의 기본 Kimi K3 릴리스와 동일한 모델 정체성과 동작을 유지합니다.

이 모델은 텍스트, 이미지, 비디오를 입력으로 받아들이고 텍스트를 출력으로 생성합니다. 컨텍스트 윈도우는 1,048,576 토큰으로, 전체 코드베이스, 긴 문서 세트 또는 장시간의 대화 기록을 단일 요청에 담을 수 있을 만큼 충분히 큽니다. 최대 출력 길이는 응답당 16,384 토큰입니다. 추론 모델이기 때문에 최종 답변을 생성하기 전에 생성 예산의 일부를 내부 추론에 사용할 수 있으며, 이 동작은 reasoning 및 reasoning_effort 파라미터를 통해 조정할 수 있습니다.

이러한 기능은 몇 가지 실용적인 용도을 시사합니다. 전체 소스가 컨텍스트에 있어야 하는 대규모 저장소 전반에서 작업하는 것을 포함해 복잡한 코딩 작업이 잘 맞습니다. 긴 문서와 보고서를 요약, 비교 또는 추출하는 지식 작업도 또 다른 자연스러운 용도이며, 특히 원본 자료에 텍스트와 함께 해석해야 하는 이미지나 비디오가 포함된 경우에 그렇습니다. 장기 지평 에이전트 워크플로도 목표 사용 사례로, 모델이 여러 단계에 걸쳐 계획하고, 도구를 호출하며, 긴 컨텍스트 전반에서 상태를 추적합니다.

모델 id moonshotai/kimi-k3:batch를 사용해 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 요청은 frequency_penalty, include_reasoning, logit_bias, max_tokens, min_p, presence_penalty, reasoning, reasoning_effort, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k 및 top_p를 지원합니다. 도구 호출과 구조화된 출력은 tools, tool_choice, response_format 및 structured_outputs 파라미터를 통해 사용할 수 있으며, 샘플링은 temperature, top_p, top_k, min_p 및 페널티 파라미터로 조정할 수 있습니다. 재현 가능한 샘플링을 위해 seed를 설정할 수 있습니다.

출력 상한을 염두에 두십시오. 응답은 16,384 토큰으로 제한되므로, 매우 긴 단일 답변이 필요한 작업은 호출을 나누어 작업을 분할해야 할 수 있습니다. 또한 이 모델은 텍스트 출력만 지원하므로, 이미지나 비디오 입력은 생성된 미디어 출력이 아니라 텍스트를 생성하기 위해 해석됩니다. 단순하고 짧은 텍스트 작업에는 2.8T 파라미터 추론 모델보다 더 작고 빠른 모델이 더 경제적인 선택일 수 있습니다.