Mistral: Mistral Medium 3.5 (batch)

Mistral Medium 3.5 (batch)는 Mistral AI의 텍스트 생성 모델로, api14에서 mistralai/mistral-medium-3-5:batch로 식별됩니다. 이 모델은 dense 128B 명령 수행 모델이며, 이는 모든 파라미터가 요청마다 활성화된다는 뜻으로, mixture-of-experts 구조를 통해 라우팅되지 않습니다. batch 변형은 이 엔드포인트를 통해 노출되는 버전이며, 이 모델은 api14에서 텍스트 카테고리에 속합니다.

이 모델은 텍스트, 이미지, 파일 입력을 받아들이고 텍스트만 반환합니다. 컨텍스트 윈도우는 262,144 토큰이고 최대 출력 길이는 209,715 토큰이므로, 매우 큰 입력을 받아들이고 한 번의 호출로 긴 응답을 생성할 수 있습니다. 텍스트와 함께 이미지와 파일도 받아들이므로, 작성된 지시와 시각 또는 문서 콘텐츠를 결합한 혼합 프롬프트를 보낼 수 있고, 모델은 답변을 생성하기 전에 이 모든 것을 추론합니다.

이러한 기능은 몇 가지 실용적인 용도를 가리킵니다. 큰 컨텍스트 윈도우는 긴 문서, 코드베이스 또는 여러 파일 입력에 대한 작업에 적합하며, 그렇지 않으면 결과를 청크로 나누고 이어 붙여야 할 것입니다. 이미지 입력은 스크린샷, 다이어그램 또는 스캔한 페이지를 텍스트 지시와 섞는 작업에 적합하게 만듭니다. Mistral은 이 모델을 에이전트 워크플로, 코딩, 복잡한 작업을 위해 설계되었다고 설명하므로, 도구 호출과 구조화된 생성이 합리적인 출발점입니다. batch 변형은 지연 시간이 가장 중요한 대화형 채팅보다는, 많은 요청을 제출하고 결과를 수집하는 오프라인 또는 처리량 중심 작업에 자연스러운 선택입니다.

모델 id mistralai/mistral-medium-3-5:batch를 사용해 api14의 OpenAI 호환 API를 통해 이 모델을 호출합니다. 이 엔드포인트는 frequency_penalty, include_reasoning, max_tokens, presence_penalty, reasoning, reasoning_effort, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_p를 지원합니다. 실제로 이는 temperature, top_p 및 두 가지 페널티 파라미터로 샘플링을 제어하고, max_tokens로 출력을 제한하고, seed로 무작위성을 고정하고, stop 시퀀스를 정의할 수 있음을 의미합니다. 구조화된 작업의 경우 response_format과 structured_outputs로 응답의 형태를 제한할 수 있고, tools와 tool_choice는 함수 호출을 지원하며, reasoning 파라미터로 모델이 노출하거나 수행하는 내부 추론의 양을 조정할 수 있습니다.

고려해야 할 한 가지는 batch 지정입니다. 애플리케이션이 낮은 지연 시간의 턴 단위 응답을 필요로 한다면 non-batch 모델이 더 적합할 가능성이 높으며, 텍스트 입력과 출력만 필요로 하는 경우에도 마찬가지입니다. 이미지와 파일 양식이 사용되지 않을 것이기 때문입니다. 262,144 토큰 컨텍스트와 209,715 토큰 출력 상한은 넉넉하지만 여전히 유한하므로, 극도로 큰 코퍼스는 호출에 걸쳐 분할해야 할 수 있습니다. 이러한 범위 내에서 이 모델은 단일 엔드포인트에서 긴 컨텍스트 텍스트 작업, 멀티모달 프롬프트, 코딩, 도구 기반 에이전트 흐름을 포괄합니다.