Mistral: Mistral Small 3

Mistral Small 3 es un modelo de generación de texto de Mistral, publicado por el proveedor el 30 de enero de 2025. Es un modelo de lenguaje de 24B parámetros optimizado para un rendimiento de baja latencia en tareas comunes de IA, y se publica bajo la licencia Apache 2.0. Existen versiones preentrenada y ajustada a instrucciones, y la variante ajustada a instrucciones es la que se sirve aquí bajo el id de modelo mistralai/mistral-small-24b-instruct-2501.

El modelo trabaja con entrada de texto y produce salida de texto, por lo que encaja en cargas de trabajo estándar de estilo chat y completado. Tiene una ventana de contexto de 32768 tokens, que cubre el prompt y la respuesta generada en conjunto, y puede producir hasta 16384 tokens en una sola salida. Su fecha de corte de conocimiento es el 31 de octubre de 2023, por lo que cualquier cosa que ocurriera después de esa fecha queda fuera de lo que el modelo aprendió durante el entrenamiento. La combinación de un recuento de parámetros moderado y un contexto de 32k lo convierte en un modelo instruct de propósito general en lugar de un especialista en una única tarea concreta.

Debido a que está ajustado a instrucciones y optimizado para baja latencia, el modelo es adecuado para tareas cotidianas donde importa la velocidad de respuesta: asistentes de chat, resumen, reescritura, clasificación, extracción y respuesta a preguntas sobre material que encaje dentro de la ventana de contexto. El límite de salida de 16384 tokens permite generaciones más largas, como borradores de varios párrafos o documentos estructurados, mientras que el contexto de 32768 tokens admite prompts que incluyen una cantidad considerable de texto de referencia, por ejemplo unos cuantos documentos o un historial de conversación largo. Los desarrolladores que necesitan un modelo de texto fiable para endpoints de alto volumen y sensibles a la latencia son el público objetivo.

Se llama a través de la API compatible con OpenAI de api14 usando el id de modelo mistralai/mistral-small-24b-instruct-2501, lo que significa que las bibliotecas cliente de OpenAI existentes y las formas de solicitud funcionan con solo cambiar el nombre del modelo. El modelo admite frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k y top_p. Las salidas estructuradas y response_format están disponibles para casos en los que se necesita la respuesta en una forma definida, y seed puede ayudar a hacer el muestreo más reproducible. El comportamiento de muestreo se controla mediante temperature, top_p, top_k y min_p, mientras que repetition_penalty, frequency_penalty y presence_penalty moldean cuánto se repite el modelo.

Merece la pena señalar dos restricciones prácticas antes de decidirse. La fecha de corte de conocimiento del 31 de octubre de 2023 significa que el modelo no tiene conocimiento incorporado de eventos posteriores, por lo que las aplicaciones que dependen de información reciente necesitan proporcionarla en el prompt. La entrada y la salida son solo texto, por lo que si la carga de trabajo implica imágenes o audio, este modelo no es la opción adecuada. Y con una ventana de contexto de 32768 tokens, las entradas muy grandes necesitarán fragmentación o recuperación en lugar de pasarse enteras.