Mistral: Mistral Small 3.1 24B

Mistral Small 3.1 24B Instruct는 Mistral의 텍스트 생성 모델로, 제공업체가 2025년 3월 17일에 출시했습니다. Mistral Small 3 (2501)의 업그레이드 변형이며 240억 개의 파라미터를 갖추고 있습니다. api14에서는 텍스트 카테고리에 속하며, 호출할 때 사용하는 모델 id는 mistralai/mistral-small-3.1-24b-instruct입니다.

이 모델은 텍스트와 이미지를 입력으로 받고 텍스트를 반환합니다. 컨텍스트 윈도우는 128,000 토큰이고 최대 출력은 102,400 토큰이므로, 긴 문서와 긴 생성 모두 단일 요청에 편안하게 들어갑니다. 지식 컷오프는 2023년 10월 31일입니다. 멀티모달 입력은 텍스트 프롬프트와 함께 이미지를 전달할 수 있다는 뜻이며, 이는 스크린샷, 다이어그램 또는 스캔한 페이지에만 존재하는 정보에 작업이 의존할 때 유용합니다.

텍스트와 이미지를 모두 큰 컨텍스트에서 처리하기 때문에, 이 모델은 문서 및 이미지 이해 작업에 적합합니다. 긴 보고서 요약, 스캔한 양식이나 스크린샷에서 구조화된 데이터 추출, 제공된 문서에 근거한 질문 답변, 텍스트와 이미지가 혼합된 지원 워크플로 등이 그 예입니다. 128k 컨텍스트는 또한 코드베이스 수준의 질문, 긴 대화 기록, 한 번의 호출로 많은 자료를 보내고 싶은 배치 스타일 분석에도 합리적입니다. 도구 및 함수 호출 지원은 이를 데이터를 가져오거나 작업을 트리거해야 하는 에이전트 스타일 파이프라인으로 확장합니다.

모델 id mistralai/mistral-small-3.1-24b-instruct를 사용해 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 즉, 기존 OpenAI SDK와 클라이언트가 base URL과 키만 변경하면 작동합니다. 지원하는 요청 파라미터는 frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs, top_p입니다. 구조화된 출력과 샘플링 제어는 예측 가능한 JSON이나 엄격하게 제한된 생성이 필요할 때 유용하며, seed는 테스트 중 재현성에 도움이 됩니다.

확정하기 전에 주목할 만한 두 가지 제한이 있습니다. 지식 컷오프가 2023년 10월 31일이므로, 그 날짜 이후의 내용은 모델 자체의 지식이 아니라 프롬프트나 도구에서 와야 합니다. 출력은 텍스트 전용이므로, 생성된 이미지나 오디오가 필요하다면 이 모델은 적합하지 않습니다. 순전히 텍스트이고 더 작은 컨텍스트 안에 충분히 들어가는 작업에는 더 가벼운 모델이 더 저렴하고 빠를 수 있지만, 128k 토큰에서의 멀티모달 입력에는 이 모델이 폭넓은 작업 범위를 커버합니다.