Qwen2.5 72B Instruct

Qwen2.5 72B Instruct는 Alibaba Cloud가 개발한 대규모 언어 모델 시리즈인 Qwen의 텍스트 생성 모델입니다. 이는 Qwen2.5 제품군에 속하며, 제공자는 이 제품군이 Qwen2보다 훨씬 더 많은 지식을 제공하고 코딩 능력이 크게 향상되었다고 설명합니다. 이 모델은 제공자가 2024년 9월 19일에 출시했으며, 학습 지식은 2024년 6월 30일 기준으로 잘려 있습니다. 텍스트 카테고리에 속하며, 원시적인 이어쓰기보다는 프롬프트를 따르고 직접적인 응답을 생성하도록 설계된 지시 튜닝 모델로 자리매김하고 있습니다.

이 모델은 텍스트를 입력으로 받아 텍스트를 출력으로 반환하므로, 언어로 표현할 수 있는 모든 작업에 사용할 수 있습니다. 컨텍스트 윈도우는 32,768 토큰으로, 단일 요청에서 상당한 양의 자료를 처리할 수 있으며, 최대 출력 길이는 16,384 토큰입니다. 이러한 조합은 답변 자체도 길어질 수 있는 다중 문서 요약, 확장된 코드 파일 또는 상세한 지시와 같은 긴 프롬프트에 적합합니다. 양쪽 모두 텍스트만 지원하므로, 이 모델은 이미지, 오디오 또는 기타 모달리티를 처리하지 않습니다.

이러한 기능은 상당히 폭넓은 실용적 용도를 시사합니다. 지시 따르기와 코딩에 대한 강조는 코드 생성, 리팩터링, 디버깅 지원 및 기존 코드 설명에 적합하게 만듭니다. 큰 컨텍스트 윈도우는 여러 소스 구절을 프롬프트에 붙여 넣고 모델에게 이를 종합하거나 질문에 답하도록 요청하는 검색 스타일 워크플로를 지원합니다. 또한 산문 초안 작성 및 편집, 텍스트에서의 구조화된 추출, 분류 및 요약, 그리고 토큰 예산 내에서 긴 대화 스레드를 유지해야 하는 대화형 어시스턴트에도 적합합니다.

api14의 OpenAI 호환 API를 통해 모델 id "qwen/qwen-2.5-72b-instruct"를 사용하여 이 모델을 호출할 수 있습니다. 인터페이스가 OpenAI 채팅 완성 형식을 따르므로, 기존 OpenAI SDK와 클라이언트는 일반적으로 base URL과 키만 변경하면 작동합니다. 이 모델은 다양한 요청 매개변수를 지원합니다: frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k 및 top_p. 따라서 도구 호출과 구조화된 출력을 직접 사용할 수 있으며, 이는 모델이 자유 텍스트 대신 JSON을 반환하거나 함수를 호출해야 할 때 유용합니다.

확정하기 전에 고려해야 할 몇 가지 제약이 있습니다. 32,768 토큰 컨텍스트는 넉넉하지만 무제한은 아니므로, 매우 큰 코드베이스나 긴 문서 세트는 단일 프롬프트 대신 청킹이나 검색이 필요할 수 있습니다. 2024년 6월 30일의 지식 컷오프는 그 이후의 모든 것이 프롬프트 자체에서 나와야 함을 의미합니다. 워크로드가 텍스트 기반이 아니라면, 이 모델은 이미지나 오디오 입력이 없으므로 도움이 되지 않습니다. 이러한 범위 내에 맞는 작업의 경우, 강력한 매개변수 제어를 갖춘 유능한 범용 텍스트 모델을 제공합니다.