Meta: Llama 3.1 70B Instruct는 Meta의 텍스트 모델로 2024-07-23에 출시되었습니다. Qwen2.5 72B Instruct는 Qwen의 텍스트 모델로 2024-09-19에 출시되었습니다. 둘 다 대략 700억 개 파라미터 규모의 비슷한 체급에 속하며, 둘 다 채팅과 일반 어시스턴트 작업을 위해 인스트럭션 튜닝되었습니다. 어느 쪽도 작은 모델이 아니므로, 둘 다 저렴한 대량 처리용 일꾼보다는 강력한 범용 언어 동작을 원하는 개발자를 겨냥합니다.
가장 명확한 차이는 컨텍스트입니다. Llama 3.1 70B Instruct는 최대 131072 토큰을 받아들이며, 이는 Qwen2.5 72B Instruct의 32768 토큰 윈도우의 네 배입니다. 프롬프트에 긴 문서, 대규모 코드베이스, 긴 대화 기록 또는 많은 검색 청크가 포함된다면 이 차이가 중요하며, 입력을 담을 수 있는 쪽은 Llama입니다. 모달리티에서는 둘이 동일합니다. 텍스트 입력, 텍스트 출력이며, 어느 쪽도 이미지나 오디오를 처리하지 않습니다. 지원 파라미터 목록도 정확히 일치하므로, 둘 다 temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools, tool_choice를 노출합니다. 그 목록에서 한쪽만 가지고 다른 쪽이 결여한 기능은 없으므로, 선택은 기능 지원으로 귀결되지 않습니다.
실용적인 선택은 입력 크기에서 시작하십시오. 긴 컨텍스트 검색, 전체 파일 검토, 다중 문서 요약, 그리고 그렇지 않으면 공격적으로 청킹해야 할 모든 작업은 단순히 윈도우가 더 크다는 이유로 Llama 3.1 70B Instruct를 가리킵니다. 채팅 턴, 단일 함수 호출, 분류, 한두 문단에서의 추출, 각 요청이 작은 에이전트 단계처럼 더 짧고 범위가 잘 정해진 작업에는 Qwen2.5 72B Instruct가 합리적인 기본값이며, 둘 중 입력 비용이 더 저렴합니다. 출력 가격은 둘 다 거의 같으므로 비용 차이는 입력 쪽에서 드러납니다. 워크로드가 대부분 짧은 프롬프트라면 Qwen의 입력 이점이 누적됩니다. 프롬프트가 길다면 Llama의 더 큰 윈도우 덕분에 요청을 아예 분할하지 않아도 될 수 있으며, 이는 토큰당 요금보다 더 중요할 수 있습니다.
api14를 통해 어느 모델을 호출하든 방식은 같습니다. API가 OpenAI 호환되기 때문입니다. 기존 OpenAI 클라이언트를 api14 base URL로 향하게 하고, 키를 보내고, model 필드를 설정하십시오. Llama를 사용하려면 model id를 meta-llama/llama-3.1-70b-instruct로 설정하십시오. Qwen을 사용하려면 qwen/qwen-2.5-72b-instruct로 설정하십시오. 요청 본문의 나머지 모든 것, messages, temperature, max_tokens, tools, response_format 등은 그대로 유지됩니다. 둘 사이 전환은 한 줄 변경이므로, 자체 프롬프트로 둘 다 벤치마크하고 통합을 다시 작성하지 않고도 라우트별 또는 작업별로 선택할 수 있습니다.
컨텍스트가 빠듯하지 않더라도 Qwen2.5 72B Instruct가 여전히 더 나은 선택인 경우가 하나 있습니다. 입력 비용이 결정적 요인이고 프롬프트가 32768 토큰 안에 넉넉히 들어갈 때입니다. 그런 상황에서는 Llama의 더 큰 윈도우가 사용할 일 없는 것만 제공하므로, Qwen이 더 저렴한 입력 옵션입니다. 반대로 언젠가 더 긴 입력으로 성장할 것으로 예상한다면, Llama 3.1 70B Instruct는 나중에 두 번째 마이그레이션 없이 여유를 제공합니다.