Mistral Large 2407

Mistral Large 2407 es un modelo de generación de texto de Mistral, identificado en api14 como mistralai/mistral-large-2407. Es el modelo insignia de Mistral, Mistral Large 2, en su versión 2407, y Mistral lo describe como un modelo propietario con pesos disponibles. Fue lanzado por el proveedor el 2024-11-19 y tiene un corte de conocimiento del 2024-03-31.

El modelo acepta entradas de texto y archivos y devuelve texto. Tiene una ventana de contexto de 131072 tokens y una salida máxima de 104857 tokens, por lo que tanto las entradas largas como las generaciones largas son posibles dentro de la misma solicitud. Mistral lo posiciona como fuerte en razonamiento, código, JSON y chat. Los parámetros de solicitud admitidos incluyen temperature, top_p, frequency_penalty, presence_penalty, max_tokens, stop, seed, response_format, structured_outputs, tools y tool_choice.

Debido a que maneja bien el razonamiento, el código y JSON, se adapta a tareas como el análisis de varios pasos, la generación y revisión de código, y asistentes de chat que necesitan mantener una conversación larga o un documento grande en contexto. La modalidad de entrada de archivos lo hace utilizable para flujos de trabajo donde se proporciona un documento junto con una pregunta, y los parámetros de salida estructurada y llamada a herramientas lo hacen un ajuste razonable para canalizaciones que necesitan respuestas legibles por máquina o que conectan el modelo a funciones externas. El gran límite de salida ayuda cuando la respuesta en sí es larga, por ejemplo un archivo completo, un informe detallado o una explicación extendida.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "mistralai/mistral-large-2407". Las solicitudes siguen la forma de chat completions de OpenAI, por lo que envías mensajes y estableces parámetros en los campos habituales. El modelo admite frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools y top_p. Usa response_format o structured_outputs cuando necesites JSON, y tools con tool_choice cuando quieras que el modelo llame a funciones que definas. El parámetro seed te permite hacer el muestreo más reproducible, y stop te permite cortar la generación en una secuencia elegida.

Ten en cuenta el corte de conocimiento del 2024-03-31: el modelo no conocerá eventos ni cambios de bibliotecas posteriores a esa fecha, por lo que para información reciente deberías proporcionarla en el prompt o mediante un archivo. Si tu tarea no está basada en texto, este modelo no encajará, ya que solo acepta entradas de texto y archivos y solo produce texto. Dentro de esos límites es una elección general para trabajo de razonamiento, código y JSON, y la lista de parámetros te da suficiente control sobre el muestreo, la forma de salida y el uso de herramientas para integrarlo en código existente compatible con OpenAI con pocos cambios.