Meta: Llama 3.1 70B Instruct 대 TheDrummer: UnslopNemo 12B
api14 카탈로그의 최신 USD 가격과 기능을 바탕으로 Meta: Llama 3.1 70B Instruct(US$2.52 / 100만 토큰 (≈ ₩3,396))와(과) TheDrummer: UnslopNemo 12B(US$1.40 / 100만 토큰 (≈ ₩1,887))를 나란히 비교합니다. 두 모델 모두 같은 OpenAI 호환 API로 실행됩니다.
사양
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| 제공업체 | Meta | TheDrummer |
| 입력 | US$2.52 / 100만 토큰 (≈ ₩3,396) | US$1.40 / 100만 토큰 (≈ ₩1,887) |
| 출력 | US$2.52 / 100만 토큰 (≈ ₩3,396) | US$1.40 / 100만 토큰 (≈ ₩1,887) |
| 컨텍스트 윈도우 | 131,072 | 1,024,000 |
| 최대 출력 | 8,192 | 819,200 |
| 입력 | text | text |
| 출력 | text | text |
| 도구 호출 | ||
| 구조화된 출력 | ||
| 추론 조절 | ||
| 추가일 | 2024. 7. 23. | 2024. 11. 8. |
주요 차이점
- TheDrummer: UnslopNemo 12B의 입력 토큰 가격이 44% 더 저렴합니다.
- TheDrummer: UnslopNemo 12B의 출력 토큰 가격이 44% 더 저렴합니다.
- TheDrummer: UnslopNemo 12B는(은) 7.8배 더 긴 컨텍스트(1,024,000 토큰)를 읽습니다.
- 구조화된 JSON 출력은(는) TheDrummer: UnslopNemo 12B만 지원합니다.
- 입력 1,000 토큰, 출력 500 토큰 요청의 비용은 Meta: Llama 3.1 70B Instruct에서 US$0.00378, TheDrummer: UnslopNemo 12B에서 US$0.00210입니다.
자세히 보기
Meta: Llama 3.1 70B Instruct는 Meta의 텍스트 모델로, 2024-07-23에 출시되었습니다. TheDrummer: UnslopNemo 12B는 TheDrummer의 텍스트 모델로, 2024-11-08에 출시되었습니다. 둘 다 api14를 통해 채팅 완성 모델로 제공되며, 둘 다 텍스트를 입력받아 텍스트를 반환하므로 이미지나 오디오는 처리하지 않습니다. 이름만 보면 필요한 정보의 대부분을 한눈에 알 수 있습니다. 하나는 대형 연구소에서 만든 70B 범용 지시 튜닝 모델이고, 다른 하나는 특정 출력 스타일을 겨냥한 12B 커뮤니티 파인튜닝 모델입니다.
가장 명확한 기술적 차이는 컨텍스트 길이입니다. UnslopNemo 12B는 최대 1,024,000 토큰을 허용하는 반면, Llama 3.1 70B Instruct는 최대 131,072 토큰을 허용합니다. 프롬프트나 검색된 문서 세트가 매우 크다면, 청킹 없이 이를 담을 수 있는 쪽은 UnslopNemo입니다. 다른 중요한 차이는 도구 지원입니다. Llama 3.1 70B Instruct는 tools와 tool_choice를 지원하므로 함수 호출과 에이전트 스타일 루프를 직접 구동할 수 있습니다. UnslopNemo 12B는 해당 파라미터를 나열하지 않으므로, 모델 자체가 구조화된 도구 호출을 내보내야 할 때 선택할 모델은 아닙니다. 가격은 두 모델이 거의 같으므로 여기서 비용은 결정 요인이 아닙니다. 둘 다 structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed, stop을 지원하므로 샘플링과 출력 조정은 양쪽에서 동일하게 작동합니다.
일상적인 작업에서는 과제가 실제로 필요로 하는 것을 기준으로 선택하세요. 에이전트, 함수를 호출해야 하는 검색 파이프라인, 또는 모델이 어떤 도구를 호출할지 결정해야 하는 모든 것을 만든다면, Llama 3.1 70B Instruct가 자연스러운 선택입니다. 둘 중 도구 지원이 있는 유일한 모델이기 때문입니다. 긴 문서 요약, 큰 코드베이스나 대화 기록을 단일 요청에 넣는 작업, 또는 매우 큰 윈도우를 가진 더 가벼운 모델을 원하는 창의적이고 대화적인 글쓰기를 한다면 UnslopNemo 12B가 더 적합합니다. 입력이 131,072 토큰 안에 여유롭게 들어가고 도구가 필요 없는 단순한 지시 수행, 분류, 추출, 재작성이라면 어느 모델이든 작업을 수행할 수 있으므로, 역량보다는 출력 스타일을 기준으로 선택할 수 있습니다.
api14를 통해 어느 모델을 호출하든 방식은 동일합니다. API가 OpenAI 호환 방식이기 때문입니다. 클라이언트를 api14 기본 URL로 지정하고, messages 배열과 함께 일반적인 채팅 완성 요청을 보낸 뒤, model 필드를 설정하면 됩니다. Llama 3.1 70B Instruct를 사용하려면 model을 meta-llama/llama-3.1-70b-instruct로 설정하세요. UnslopNemo 12B를 사용하려면 model을 thedrummer/unslopnemo-12b로 설정하세요. temperature, max_tokens, stop, structured_outputs를 포함한 요청 본문의 나머지 모든 항목은 그대로 유지됩니다. 두 모델 간 전환은 한 줄만 바꾸면 되므로, 둘 다 설정 값 뒤에 두고 통합을 다시 작성하지 않고도 요청별로 라우팅할 수 있습니다.
반대 방향으로 짚어볼 만한 사례가 하나 있습니다. UnslopNemo 12B가 훨씬 큰 컨텍스트 윈도우를 가지고 있더라도 도구를 지원하지 않으므로, 긴 컨텍스트 작업에 함수 호출도 필요하다면 더 작은 윈도우에도 불구하고 Llama 3.1 70B Instruct가 여전히 올바른 선택입니다. 이 경우 도구 사용을 포기하기보다는 입력을 청킹하여 131,072 토큰 안에 머물도록 해야 합니다.
문자열 하나로 전환
두 모델은 같은 엔드포인트와 요청 형식을 사용합니다. model 값을 "meta-llama/llama-3.1-70b-instruct"에서 "thedrummer/unslopnemo-12b"로 바꾸기만 하면 프롬프트, 스트리밍, 도구가 그대로 작동합니다.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
더 많은 비교
- LiquidAI: LFM3-1.7B 대 Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B 대 Crouton Alpha
- LiquidAI: LFM3-1.7B 대 Tencent: Hy4
- LiquidAI: LFM3-1.7B 대 Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview 대 Crouton Alpha
- Ricursive: Ripple 65B Preview 대 Tencent: Hy4
- Ricursive: Ripple 65B Preview 대 Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha 대 Tencent: Hy4