Meta: Llama 3.2 1B Instruct

Meta: Llama 3.2 1B Instruct는 Meta의 텍스트 생성 모델로, Llama 3.2 제품군의 일부입니다. 10억 개의 파라미터를 가진 명령어 튜닝 모델로, Meta가 자연어 작업을 효율적으로 수행하는 데 초점을 맞춘 의도적으로 작은 크기입니다. Meta는 2024년 9월 25일에 이를 출시했으며, 지식 컷오프는 2023년 12월 31일이므로 그 이후에 발생한 모든 것은 모델이 학습 중에 습득한 범위를 벗어납니다.

이 모델은 입력과 출력 모두 텍스트만 처리합니다. 프롬프트를 받아 생성된 텍스트를 반환하며, 컨텍스트 윈도우는 60,000 토큰이고 최대 출력은 54,000 토큰입니다. 이 조합은 이 크기의 모델에 상당히 큰 작업 공간을 제공하여 긴 문서나 확장된 대화를 단일 요청에 담을 수 있을 만큼 충분합니다. Meta는 그 초점을 요약, 대화 및 다국어 텍스트 분석이라고 설명하며, 이는 명령어 튜닝이 목표로 하는 작업 유형을 반영합니다.

이러한 기능은 실용적인 용도 집합을 가리킵니다. 요약은 자연스러운 적합성입니다. 기사, 보고서 또는 스레드를 입력하고 더 짧은 버전을 요청하세요. 대화는 채팅 스타일 어시스턴트, 질문 답변 및 모델이 지침을 따르고 일관된 어조를 유지해야 하는 단순한 대화 흐름을 포괄합니다. 다국어 텍스트 분석은 언어 전반에 걸친 분류, 추출 또는 가벼운 텍스트 변환을 의미합니다. 모델이 작기 때문에 깊은 추론보다는 간단한 프롬프트에 빠른 응답을 원하는 대량의 저복잡도 작업에도 적합합니다.

api14의 OpenAI 호환 API를 통해 모델 id "meta-llama/llama-3.2-1b-instruct"를 사용하여 호출합니다. 인터페이스가 OpenAI 형식을 따르므로 기존 OpenAI 클라이언트 라이브러리와 요청 형태가 모델 id와 기본 URL만 변경하면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, temperature, top_k 및 top_p입니다. 이는 일반적인 샘플링 제어를 포함하며, 재현 가능한 출력을 위한 seed와 더 긴 생성에서 반복을 억제하기 위한 repetition_penalty도 포함합니다.

주로 고려해야 할 점은 규모입니다. 10억 파라미터 모델은 가장 어려운 추론이나 가장 미묘한 장문 작성이 아니라 효율성을 위해 만들어졌습니다. 작업에 복잡한 다단계 논리, 깊은 도메인 지식 또는 모호한 프롬프트에 대한 매우 신뢰할 수 있는 지침 준수가 필요하다면, Llama 제품군의 더 큰 모델이나 다른 제공자가 일반적으로 더 나은 서비스를 제공할 것입니다. 작업이 대량의 요약, 대화 또는 다국어 텍스트 처리라면, 이 모델은 먼저 테스트해 볼 합리적인 기본값입니다.