Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct는 Meta의 텍스트 생성 모델로, 2024년 12월 6일에 출시되었습니다. 이 모델은 Llama 3.3 제품군에 속하며, Meta가 70B 파라미터로 사전 학습과 지시 튜닝을 모두 수행한 다국어 대규모 언어 모델입니다. 지시 튜닝 변형은 텍스트 전용이므로, 멀티모달 입력보다는 프롬프트 기반 작업을 위해 설계되었습니다.

이 모델은 텍스트를 입력받아 텍스트를 출력하며, 컨텍스트 윈도우는 131,072 토큰이고 최대 출력은 16,384 토큰입니다. 지식 컷오프는 2023년 12월 31일이므로, 그 이후의 내용은 학습 중에 습득한 범위를 벗어납니다. 지시 튜닝되었기 때문에 프롬프트의 지시를 상당히 직접적으로 따르며, 이는 예시를 제공하기보다 원하는 바를 설명하는 작업에 적합하게 만듭니다.

이러한 기능은 상당히 폭넓은 실용적 용도를 시사합니다. 긴 문서 요약이나 질의처럼 긴 컨텍스트가 필요한 작업은 131,072 토큰 윈도우에 맞고, 16,384 토큰 출력 상한은 짧은 답변을 훨씬 넘어서는 응답을 지원합니다. 다국어 생성과 채팅 스타일 어시스턴트는 이 모델의 다국어 학습을 고려할 때 자연스럽게 적합합니다. 지시 따르기는 또한 입력이 텍스트이고 출력이 텍스트인 추출, 재작성, 분류 및 이와 유사한 변환 작업에 합리적인 선택이 되게 합니다.

이 모델은 모델 id "meta-llama/llama-3.3-70b-instruct"를 사용해 api14의 OpenAI 호환 API를 통해 호출합니다. 엔드포인트는 일반적인 채팅 스타일 요청 형식을 받아들이며, 모델은 다양한 파라미터를 지원합니다: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs 및 top_p. 도구 호출과 구조화된 출력이 모두 제공되므로, 함수 호출과 스키마 제약 응답은 우회 방법이 아니라 선택 가능한 옵션입니다.

이 모델을 선택할 때 염두에 둘 만한 두 가지 제한이 있습니다. 텍스트만 받아들이므로 이미지, 오디오 또는 기타 비텍스트 입력은 범위 밖이며, 지식은 2023년 말에 멈추므로 최근 사건에 관한 질문에는 직접 컨텍스트를 제공하지 않는 한 영향을 미칩니다. 작업이 이러한 요소에 의존한다면, 관련 입력 양식을 갖춘 모델이나 더 최근의 컷오프를 가진 모델이 더 적합할 것입니다.