Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct는 Meta의 텍스트 생성 모델로, 2024년 7월 23일에 출시된 Llama 3.1 제품군의 일부입니다. 이는 700억 개 매개변수 버전이며 지시 수행에 맞게 튜닝되었습니다. 즉, 단순히 원시 텍스트를 이어 쓰는 것이 아니라 프롬프트에 응답하고 대화를 수행하도록 설계되었습니다. Meta는 이 instruct 변형을 고품질 대화 사용 사례에 최적화된 것으로 위치시키며, 크기 측면에서 Llama 3.1 범위의 중간에 자리합니다.

이 모델은 텍스트를 입력으로 받고 텍스트를 출력으로 반환하므로, 이미지, 오디오 또는 비디오 처리가 없는 순수 언어 모델입니다. 컨텍스트 윈도는 131,072 토큰으로, 단일 요청에서 긴 문서, 확장된 대화 또는 상당한 크기의 코드 파일을 담을 수 있을 만큼 충분히 큽니다. 최대 출력 길이는 16,384 토큰이므로 응답은 상당할 수 있지만 입력 한도보다 훨씬 낮게 제한됩니다. 지식 컷오프는 2023년 12월 31일이며, 이 날짜 이후의 내용은 학습 중에 습득한 범위 밖입니다.

이러한 특성은 상당히 명확한 실용적 용도 집합을 가리킵니다. 긴 컨텍스트는 장문 문서에 대한 요약 및 질의응답, 계약 검토, 연구 종합, 그리고 대화의 이전 부분이 계속 보여야 하는 다중 턴 채팅에 적합합니다. 지시 튜닝은 어시스턴트, 초안 작성, 재작성, 분류 및 추출 작업에 합리적으로 맞습니다. 이 모델은 도구 호출과 구조화된 출력을 지원하므로, 자유 텍스트만 생성하는 것이 아니라 정의된 형태로 데이터를 반환하거나 외부 함수를 호출해야 하는 파이프라인에서도 사용할 수 있습니다.

모델 id meta-llama/llama-3.1-70b-instruct를 사용하여 api14의 OpenAI 호환 API를 통해 호출합니다. 인터페이스가 OpenAI 스키마를 따르므로 기존 OpenAI 클라이언트를 api14의 base URL로 지정하고 model 필드에 해당 id를 전달할 수 있습니다. 지원하는 요청 매개변수는 frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k 및 top_p입니다. 이는 일반적인 샘플링 제어, seed를 통한 결정적 출력, 중지 시퀀스, 그리고 도구 호출과 구조화된 출력 모드를 모두 포괄합니다.

결정할 때 염두에 둘 만한 몇 가지 제한이 있습니다. 컨텍스트 윈도가 훨씬 크더라도 출력은 16,384 토큰으로 제한되므로, 매우 긴 단일 응답이 필요한 작업은 분할하거나 다른 모델이 필요할 수 있습니다. 2023년 12월 31일의 지식 컷오프는 프롬프트에 제공하지 않는 한 최근 사건이 포함되지 않음을 의미합니다. 그리고 입력과 출력이 텍스트 전용이므로 이미지나 오디오와 관련된 것은 이 모델이 할 수 있는 범위 밖입니다.