Meta: Llama 3.1 8B Instruct

메타: Llama 3.1 8B Instruct는 2024년 7월에 출시된 Llama 3.1 제품군의 일부인 Meta의 명령어 튜닝 텍스트 모델입니다. 8B 크기는 해당 제품군에서 더 작은 쪽에 속하므로, 훨씬 더 큰 모델의 무게 없이 유능한 범용 어시스턴트를 원할 때 합리적인 기본값이 됩니다. 텍스트 전용 모델이므로 이미지나 오디오와 관련된 작업보다는 채팅, 초안 작성, 추출 및 유사한 언어 작업에 적합합니다.

이 모델은 텍스트를 입력받아 텍스트를 출력합니다. 131,072 토큰의 컨텍스트 윈도우를 지원하므로 긴 문서, 확장된 대화 또는 상당한 크기의 코드 파일을 단일 요청에 담을 수 있을 만큼 충분히 큽니다. 최대 출력은 117,964 토큰이므로 해당 윈도우 내에서 긴 생성이 가능합니다. 지식 컷오프는 2023-12-31이며, 이 날짜 이후의 사건과 정보는 학습 데이터에 포함되지 않습니다. 정확성이 최근 사실에 의존하는 경우에는 모델의 기억에 의존하지 말고 관련 컨텍스트를 직접 제공해야 합니다.

이러한 특성은 몇 가지 실용적인 용도를 가리킵니다. 긴 입력에 대한 요약과 질의응답은 큰 컨텍스트 윈도우에 잘 맞습니다. 명령어 수행 능력 덕분에 채팅 어시스턴트, 재작성, 분류 및 지저분한 텍스트에서의 구조화된 데이터 추출에 적합합니다. 도구와 구조화된 출력을 받아들이므로 함수를 호출하거나 JSON을 반환하는 파이프라인의 추론 단계로도 사용할 수 있습니다. 8B 크기는 지연 시간과 리소스 사용을 비교적 낮게 유지하므로, 많은 요청을 실행하거나 더 큰 모델을 선택하기 전에 아이디어를 프로토타이핑할 때 도움이 됩니다.

api14의 OpenAI 호환 API를 통해 모델 ID meta-llama/llama-3.1-8b-instruct를 사용하여 호출할 수 있습니다. 기존 OpenAI 클라이언트를 api14 기본 URL로 지정하고 model 필드에 해당 ID를 전달하세요. 이 모델은 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs 및 top_p를 받아들입니다. 이는 일반적인 샘플링 제어와 도구 호출, 구조화된 출력, seed를 통한 재현 가능한 실행을 포함합니다.

고려해야 할 한 가지는 지식 컷오프와 모델 크기입니다. 작업에 2023-12-31 이후의 사실이 필요하다면 프롬프트나 검색을 통해 제공할 계획을 세우세요. 이미지나 오디오 입력이 필요하다면 이 모델은 이를 받아들이지 않으므로 멀티모달 모델이 더 적합합니다. 가장 어려운 추론이나 가장 까다로운 생성 품질이 필요하다면 같은 제품군의 더 큰 모델이 더 나을 수 있으며, 이 8B 버전은 높은 처리량과 낮은 복잡도의 작업에 여전히 견고한 선택입니다.