DeepSeek: DeepSeek V3

DeepSeek V3는 DeepSeek의 텍스트 생성 모델로, api14에 모델 id deepseek/deepseek-chat로 등록되어 있습니다. 이는 DeepSeek 팀의 최신 모델이며, 같은 제품군의 이전 버전들이 갖춘 지시 수행 및 코딩 능력을 계승해 발전시킨 것입니다. 제공업체는 2024-12-26에 이를 공개했고, 거의 15조 개의 토큰으로 사전 학습되었습니다. 지식 컷오프는 2024-07-31이므로, 그 이후의 내용은 모델이 학습 중에 습득한 범위 밖입니다.

이 모델은 입력과 출력 모두 텍스트만 다루므로, 이미지나 오디오는 받지 않습니다. 163,840 토큰의 컨텍스트 윈도를 제공하며, 이는 긴 문서, 장시간의 대화 또는 상당한 크기의 코드 파일을 단일 요청에 담기에 충분히 큽니다. 최대 출력은 응답당 16,384 토큰입니다. 강력한 지시 수행 및 코딩 능력을 갖춘 범용 텍스트 모델이므로, 멀티모달 작업보다는 언어나 코드를 읽고 생성하는 작업에 적합합니다.

실용적인 용도는 이러한 특성에서 바로 이어집니다. 긴 컨텍스트와 텍스트 출력은 문서 요약, 긴 원문에 대한 질의응답, 이전 턴이 계속 보여야 하는 다중 턴 채팅에 적합합니다. 코딩 배경은 코드 생성, 설명 및 리팩터링, 그리고 저장소 규모의 소스 코드 덩어리를 한 프롬프트에서 처리하는 데 합리적인 선택이 되게 합니다. 지시 수행은 추출, 재작성, 분류 및 기타 구조화된 텍스트 작업을 지원하며, 도구 호출 파라미터는 외부 함수를 호출해야 하는 에이전트 루프에서 추론 단계로 사용할 수 있게 합니다.

api14의 OpenAI 호환 API를 통해 모델 id deepseek/deepseek-chat를 사용해 호출하므로, 기존 OpenAI 클라이언트 라이브러리는 base URL과 키만 바꾸면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_p입니다. 실제로 이는 샘플링 제어(temperature, top_p, top_k, min_p), 반복에 대한 페널티, seed를 통한 결정적 실행, response_format과 structured_outputs를 통한 출력 형상화, tools와 tool_choice를 통한 함수 호출을 포괄합니다.

확정하기 전에 주의할 두 가지 한계가 있습니다. 입력과 출력은 텍스트 전용이므로, 작업에 이미지나 오디오 이해가 필요하다면 멀티모달 모델이 더 적합합니다. 지식 컷오프가 2024-07-31이라는 점은 모델이 그 이후 사건을 내장적으로 인지하지 못한다는 뜻이므로, 시의성이 중요한 질문에는 현재 정보를 프롬프트에 제공하거나 검색과 함께 사용해야 합니다.