Mistral Large

Mistral Large es un modelo de generación de texto de Mistral, posicionado por el proveedor como su modelo insignia. La versión que se sirve aquí es Mistral Large 2 (mistral-large-2407), un modelo propietario con pesos disponibles que Mistral describe como fuerte en razonamiento, código, JSON y chat. Fue lanzado por el proveedor el 26 de febrero de 2024, y su fecha de corte de conocimiento es el 30 de noviembre de 2024, por lo que cualquier cosa que haya ocurrido después de esa fecha queda fuera de lo que el modelo aprendió durante el entrenamiento.

El modelo acepta entradas de texto y archivos y devuelve texto. Tiene una ventana de contexto de 128.000 tokens, lo que es suficiente para contener documentos largos, archivos de código grandes o conversaciones extensas en una sola solicitud, y puede producir hasta 102.400 tokens en una respuesta. Debido a que los archivos son una modalidad de entrada aceptada, puedes pasar contenido de documentos junto con tus instrucciones en lugar de pegar todo en el prompt tú mismo. La salida es solo texto, así que si necesitas imágenes o audio necesitarás un modelo diferente.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. El contexto largo y la fortaleza de razonamiento se adaptan al análisis de documentos, la summarización y la respuesta a preguntas sobre material fuente extenso, incluidos contratos, informes y artículos de investigación suministrados como archivos. El proveedor destaca el código y JSON, por lo que las tareas de explicación, generación y refactorización de código son encajes razonables, al igual que producir cargas útiles JSON estructuradas para sistemas posteriores. Las aplicaciones de chat y de estilo asistente también funcionan bien, particularmente cuando la conversación necesita llevar mucho contexto previo sin truncamiento.

Llamas al modelo a través de la API compatible con OpenAI de api14 usando el id de modelo "mistralai/mistral-large". Debido a que el endpoint sigue el esquema de OpenAI, las bibliotecas cliente de OpenAI existentes y las formas de solicitud funcionan con solo cambiar la URL base y el id de modelo. Los parámetros de solicitud admitidos son frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools y top_p. El llamado a herramientas está disponible a través de tools y tool_choice, y structured_outputs más response_format te permiten restringir la forma del texto devuelto cuando necesitas JSON confiable. El parámetro seed ayuda cuando quieres un muestreo repetible, y stop, temperature y top_p te dan control sobre dónde y cómo genera el modelo.

Ten en cuenta la fecha de corte de conocimiento: para preguntas sobre eventos posteriores al 30 de noviembre de 2024, el modelo no tiene conocimiento incorporado y necesitará que esa información se le suministre en el prompt o a través de herramientas. El contexto de 128.000 tokens y el techo de salida de 102.400 tokens son generosos pero finitos, por lo que los corpus muy grandes todavía necesitan fragmentación o recuperación. Si tu tarea no está basada en texto, o si específicamente necesitas un modelo con una fecha de corte más reciente, otro modelo en api14 puede ser la mejor opción.