Meta: Llama 3.2 3B Instruct

메타: Llama 3.2 3B Instruct는 Meta의 텍스트 모델로, api14에서 meta-llama/llama-3.2-3b-instruct로 식별됩니다. 이 모델은 트랜스포머 아키텍처를 기반으로 구축되고 명령 수행에 맞게 튜닝된 30억 개 파라미터의 다국어 대규모 언어 모델입니다. Meta는 2024년 9월 25일에 이를 출시했으며, 지식 컷오프는 2023년 12월 31일입니다. 이 모델은 텍스트 카테고리에 속하므로 이미지, 오디오 또는 기타 모달리티보다는 언어 작업을 대상으로 합니다.

입력 측에서는 텍스트를 받아들이고 텍스트를 반환합니다. 컨텍스트 윈도우는 131,072 토큰으로, 이 크기의 모델로서는 크며 긴 문서, 대화 기록 또는 다중 턴 이력을 단일 요청에 전달할 수 있게 해줍니다. 최대 출력은 117,964 토큰이므로 응답도 길 수 있습니다. Meta는 이 모델을 대화 생성, 추론, 요약과 같은 자연어 처리 작업에 최적화된 것으로 설명하며, 다국어 학습 덕분에 둘 이상의 언어로 된 프롬프트를 처리할 수 있습니다.

이러한 기능은 상당히 명확한 용도 집합을 가리킵니다. 요약은 자연스럽게 맞습니다. 긴 보고서, 회의 노트 또는 기사 초안을 넣으면 더 짧은 버전이 나옵니다. 대화 생성은 명령 튜닝이 응답을 작업에 맞게 유지하므로 채팅 어시스턴트, 지원 봇 및 대화형 인터페이스에 적합합니다. 프롬프트에 제시된 문제를 풀어내거나 비정형 텍스트에서 구조화된 답변을 추출하는 것과 같은 추론 작업도 범위에 포함됩니다. 모델이 작기 때문에 낮은 지연 시간을 원하거나 많은 요청을 실행하려는 경우 합리적인 선택이며, 긴 컨텍스트 덕분에 문서를 보내기 전에 공격적으로 청크로 나눌 필요가 없습니다.

api14의 OpenAI 호환 API를 통해 모델 id meta-llama/llama-3.2-3b-instruct를 사용하여 호출합니다. 인터페이스가 OpenAI 형식을 따르므로 기존 클라이언트와 SDK는 일반적으로 base URL과 모델 id만 변경하면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs 및 top_p입니다. 이는 일반적인 샘플링 제어(temperature, top_p, top_k, min_p), 반복에 대한 페널티, seed를 통한 결정적 실행, 중지 시퀀스, 토큰 제한, 그리고 logprobs와 top_logprobs를 통한 로그 확률 검사를 포함합니다. 구조화된 출력도 지원되므로 응답이 스키마를 준수해야 할 때 도움이 됩니다.

주로 저울질해야 할 것은 모델 크기입니다. 30억 개 파라미터로 소형 모델이므로 깊은 추론이나 폭넓은 세계 지식을 요구하는 작업에는 더 큰 모델이 더 나을 수 있습니다. 또한 텍스트 전용이므로 다른 입력 유형과 관련된 것은 여기서 범위 밖입니다. 워크로드가 요약, 대화 또는 중간 정도의 추론이고 긴 컨텍스트 윈도우를 중요하게 여긴다면, 이 모델은 실용적인 선택입니다.