Mistral Large

Mistral Large는 Mistral의 텍스트 생성 모델로, 제공사가 자사의 플래그십 모델로 위치시키고 있습니다. 여기서 제공되는 버전은 Mistral Large 2 (mistral-large-2407)이며, Mistral이 추론, 코드, JSON 및 채팅에 강하다고 설명하는 독점 가중치 공개 모델입니다. 제공사가 2024년 2월 26일에 출시했으며, 지식 컷오프는 2024년 11월 30일이므로 그 이후에 발생한 모든 것은 모델이 학습 중에 습득한 범위 밖입니다.

이 모델은 텍스트와 파일 입력을 받아 텍스트를 반환합니다. 컨텍스트 윈도우는 128,000 토큰으로, 긴 문서, 대형 코드 파일 또는 장시간 대화를 단일 요청에 담기에 충분하며, 한 응답에서 최대 102,400 토큰을 생성할 수 있습니다. 파일이 허용되는 입력 양식이므로, 모든 내용을 직접 프롬프트에 붙여넣는 대신 문서 내용을 지시문과 함께 전달할 수 있습니다. 출력은 텍스트 전용이므로 이미지나 오디오가 필요하다면 다른 모델을 사용해야 합니다.

이러한 기능은 상당히 폭넓은 실용적 용도를 시사합니다. 긴 컨텍스트와 추론 강점은 계약서, 보고서, 연구 논문 등 파일로 제공되는 긴 원문 자료에 대한 문서 분석, 요약, 질의응답에 적합합니다. 제공사가 코드와 JSON을 강조하므로 코드 설명, 생성, 리팩터링 작업이 합리적으로 적합하며, 다운스트림 시스템용 구조화된 JSON 페이로드 생성도 마찬가지입니다. 채팅 및 어시스턴트 스타일 애플리케이션도 잘 작동하며, 특히 대화가 잘림 없이 많은 사전 컨텍스트를 유지해야 하는 경우에 그렇습니다.

모델 id "mistralai/mistral-large"를 사용하여 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 엔드포인트가 OpenAI 스키마를 따르므로, 기존 OpenAI 클라이언트 라이브러리와 요청 형태는 base URL과 모델 id만 변경하면 작동합니다. 지원되는 요청 파라미터는 frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools 및 top_p입니다. 도구 호출은 tools와 tool_choice를 통해 사용할 수 있으며, structured_outputs와 response_format을 사용하면 신뢰할 수 있는 JSON이 필요할 때 반환되는 텍스트의 형태를 제한할 수 있습니다. seed 파라미터는 반복 가능한 샘플링을 원할 때 도움이 되며, stop, temperature 및 top_p는 모델이 어디서 어떻게 생성할지 제어할 수 있게 해줍니다.

지식 컷오프를 염두에 두십시오. 2024년 11월 30일 이후의 사건에 대한 질문에서 모델은 내장 지식이 없으며, 해당 정보를 프롬프트나 도구를 통해 제공해야 합니다. 128,000 토큰 컨텍스트와 102,400 토큰 출력 상한은 넉넉하지만 유한하므로, 매우 큰 코퍼스는 여전히 청킹이나 검색이 필요합니다. 작업이 텍스트 기반이 아니거나, 컷오프가 더 최근인 모델이 특별히 필요하다면 api14의 다른 모델이 더 나은 선택일 수 있습니다.