Mistral: Mistral Small 3

Mistral Small 3 é um modelo de geração de texto da Mistral, lançado pelo fornecedor em 30 de janeiro de 2025. É um modelo de linguagem de 24B parâmetros otimizado para desempenho de baixa latência em tarefas comuns de IA, e é lançado sob a licença Apache 2.0. Existem versões pré-treinada e ajustada por instrução, e a variante ajustada por instrução é a servida aqui sob o id de modelo mistralai/mistral-small-24b-instruct-2501.

O modelo trabalha com entrada de texto e produz saída de texto, portanto se encaixa em cargas de trabalho padrão de chat e de completion. Ele tem uma janela de contexto de 32768 tokens, que cobre o prompt e a resposta gerada juntos, e pode produzir até 16384 tokens em uma única saída. Seu corte de conhecimento é 31 de outubro de 2023, então qualquer coisa que aconteceu depois dessa data está fora do que o modelo aprendeu durante o treinamento. A combinação de uma contagem moderada de parâmetros e um contexto de 32k o torna um modelo instruct de propósito geral, em vez de um especialista em qualquer tarefa única e restrita.

Como ele é ajustado por instrução e otimizado para baixa latência, o modelo serve para tarefas cotidianas em que a velocidade de resposta importa: assistentes de chat, sumarização, reescrita, classificação, extração e resposta a perguntas sobre material que caiba dentro da janela de contexto. O teto de saída de 16384 tokens permite gerações mais longas, como rascunhos de vários parágrafos ou documentos estruturados, enquanto o contexto de 32768 tokens suporta prompts que incluem uma boa quantidade de texto de referência, por exemplo alguns documentos ou um histórico longo de conversa. Desenvolvedores que precisam de um modelo de texto confiável para endpoints de alto volume e sensíveis à latência são o público-alvo.

Você o chama através da API compatível com OpenAI da api14 usando o id de modelo mistralai/mistral-small-24b-instruct-2501, o que significa que bibliotecas cliente OpenAI existentes e formatos de requisição funcionam com apenas o nome do modelo alterado. O modelo suporta frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k e top_p. Saídas estruturadas e response_format estão disponíveis para casos em que você precisa da resposta em um formato definido, e seed pode ajudar a tornar a amostragem mais reproduzível. O comportamento de amostragem é controlado através de temperature, top_p, top_k e min_p, enquanto repetition_penalty, frequency_penalty e presence_penalty moldam o quanto o modelo se repete.

Duas restrições práticas vale a pena observar antes de você se comprometer. O corte de conhecimento de 31 de outubro de 2023 significa que o modelo não tem consciência embutida de eventos posteriores, então aplicações que dependem de informações recentes precisam fornecê-las no prompt. Entrada e saída são apenas texto, então se sua carga de trabalho envolve imagens ou áudio, este modelo não é o adequado. E com uma janela de contexto de 32768 tokens, entradas muito grandes precisarão de chunking ou recuperação em vez de serem passadas por inteiro.