Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct는 Mistral의 텍스트 모델로, 제공자가 2024년 4월 17일에 공개했습니다. 이는 Mixtral 8x22B의 공식 instruct 파인튜닝 버전이며, Mixtral 8x22B는 141B 중 39B의 활성 파라미터를 사용하는 희소 전문가 혼합(mixture-of-experts) 설계입니다. instruct 튜닝은 지시를 따르고 요청에 직접 답변하도록 기본 모델을 조정한 것으로, 이는 대부분의 애플리케이션 개발자가 API를 통해 모델을 호출할 때 원하는 바로 그 동작입니다.

이 모델은 텍스트와 파일 입력을 받아 텍스트를 반환합니다. 컨텍스트 윈도우는 65,536 토큰이고 최대 출력은 52,428 토큰이므로, 긴 입력과 긴 생성이 모두 같은 요청 안에서 가능합니다. 지식 컷오프는 2024년 1월 31일이며, 이는 그 날짜 이후의 내용은 모델이 학습한 범위 밖이라는 뜻입니다. Mistral은 이 모델의 특히 강한 점으로 뛰어난 수학과 코딩을 꼽으며, 크기 대비 비용 효율성도 함께 강조합니다.

이러한 능력은 상당히 폭넓은 실용적 용도를 시사합니다. 긴 컨텍스트는 긴 보고서 요약, 파일에서 구조화된 세부 정보 추출, 프롬프트에 제공된 텍스트 본문에 대한 질의응답 등 대형 문서를 다루는 작업에 적합합니다. 수학과 코딩 강점은 코드 설명이나 생성 같은 코드 지원, 그리고 단계별 추론이 필요한 정량적 작업에 합리적으로 어울립니다. 파일을 입력으로 받기 때문에, 문서를 일반 텍스트로 붙여넣지 않고 직접 전달하는 파이프라인에서도 사용할 수 있습니다. 도구 호출과 구조화된 출력은 에이전트 스타일 워크플로와 다운스트림 코드가 파싱할 수 있는 응답 생성에도 적합하게 해줍니다.

api14의 OpenAI 호환 API를 통해 모델 id "mistralai/mixtral-8x22b-instruct"를 사용하여 호출합니다. 지원되는 요청 파라미터는 frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_p입니다. 실제로 이는 일반적인 샘플링 제어(temperature, top_p, 페널티, seed, stop), max_tokens를 통한 출력 길이, response_format과 structured_outputs를 통한 응답 형태 조정, tools와 tool_choice를 통한 함수 호출을 포괄합니다. 이미 OpenAI chat completions 형태에 맞춰 코드를 작성해 두었다면, 이 모델로 전환하는 것은 대부분 모델 id를 바꾸는 문제입니다.

한 가지 유념할 점은 2024년 1월 31일이라는 지식 컷오프로, 그 이후 사건에 대한 질문은 학습 데이터로 답할 수 없으며 검색이나 프롬프트로 제공된 컨텍스트가 필요할 수 있습니다. 이 모델은 출력 측면에서 텍스트 전용이므로, 이미지나 오디오 생성을 요구하는 작업은 범위 밖입니다. 워크로드가 매우 최신 정보나 텍스트 및 파일 입력을 넘어서는 모달리티에 의존한다면 다른 모델이 더 적합할 수 있습니다.