Meta: Llama 3.1 70B Instruct는 Meta의 텍스트 모델로, 2024-07-23에 출시되었습니다. Tencent: Hy3 preview는 Tencent의 텍스트 모델로, 2026-04-22에 출시되었습니다. 둘 다 api14를 통해 단일 텍스트 입력과 텍스트 출력을 가진 chat 스타일 모델로 제공되므로, 기본 요청 형태 수준에서는 비슷해 보입니다. 차이는 컨텍스트 길이, 지원되는 파라미터, 가격에서 드러납니다.
가장 뚜렷한 차이는 컨텍스트입니다. Llama 3.1 70B Instruct는 131072 토큰의 컨텍스트 윈도우를 가지는 반면, Hy3 preview는 그 두 배인 262096 토큰이므로, 프롬프트, 문서 또는 대화 기록이 길 때 선택할 모델은 Hy3 preview입니다. Hy3 preview는 또한 Llama 3.1 70B Instruct가 노출하지 않는 파라미터를 노출합니다: include_reasoning, reasoning, reasoning_effort, seed, tools, 그리고 도구 지원입니다. 즉 Hy3 preview는 둘 중 유일하게 도구 호출을 할 수 있고 유일하게 추론 제어 기능을 갖춘 모델입니다. Llama 3.1 70B Instruct는 max_tokens, stop, temperature, top_k, top_p를 지원하며, 이는 일반적인 샘플링을 커버하지만 그 이상은 아닙니다. 가격 면에서 Hy3 preview는 입력과 출력 토큰 모두에서 더 저렴한 옵션입니다.
일상적인 작업에서는 선택이 보통 추가 기능이 필요한지에 달려 있습니다. 고정된 프롬프트가 충분히 들어가고 모델이 함수를 호출할 필요가 없는 단순한 생성, 요약, 분류 또는 채팅을 한다면, Llama 3.1 70B Instruct는 합리적이고 잘 알려진 옵션이며 그 샘플링 파라미터가 일반적인 조절 수단을 제공합니다. 모델이 도구를 호출해야 하거나, 추론 노력을 조정하고 싶거나, 입력이 131072 토큰 윈도우로는 빠듯할 만큼 큰 경우에는 Hy3 preview가 더 적합하며, 입력과 출력 모두에서 둘 중 더 저렴하기도 합니다. 더 큰 컨텍스트와 추론 파라미터 덕분에 에이전트 스타일이나 검색 비중이 큰 워크로드에 더 유연한 모델입니다.
둘 중 하나를 api14를 통해 호출하는 방식은 동일합니다. 둘 다 OpenAI 호환되므로, 기존 클라이언트를 api14 base URL로 지정하고 키를 보낸 뒤 model 필드를 설정하면 됩니다. Llama 3.1 70B Instruct를 사용하려면 model id로 "meta-llama/llama-3.1-70b-instruct"를 전달합니다. Hy3 preview를 사용하려면 "tencent/hy3-preview"를 전달합니다. 요청 본문의 나머지는 그대로 유지되고, 응답도 같은 형태로 돌아옵니다. 둘 사이 전환은 한 줄 변경이므로, 확정하기 전에 자신의 프롬프트로 둘 다 테스트하기 쉽습니다.
Hy3 preview가 더 저렴하고 기능도 더 많지만, Llama 3.1 70B Instruct를 선택할 이유는 여전히 있습니다. 워크로드가 도구 호출도, 추론 제어 필요도 없는 순수한 텍스트 생성이고 프롬프트가 131072 토큰 안에 들어간다면, Hy3 preview의 추가 파라미터는 아무것도 얻어 주지 않으며, 기능적으로 잃는 것 없이 둘 중 아무거나 골라도 됩니다. 그런 상황에서는 결정이 주로 자신의 데이터에서 어느 모델의 출력을 더 선호하는지에 관한 것이 되며, 이는 자신의 평가만이 판가름할 수 있는 문제입니다.