Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct es un modelo de texto de Mistral, publicado por el proveedor el 17 de abril de 2024. Es la versión oficial instruct con ajuste fino de Mixtral 8x22B, un diseño disperso de mezcla de expertos que utiliza 39B parámetros activos de 141B. El ajuste instruct adapta el modelo base para seguir instrucciones y responder solicitudes directamente, que es lo que la mayoría de los desarrolladores de aplicaciones desean cuando llaman a un modelo a través de una API.

El modelo acepta entradas de texto y archivos y devuelve texto. Su ventana de contexto es de 65,536 tokens, y la salida máxima es de 52,428 tokens, por lo que tanto las entradas largas como las generaciones largas son posibles dentro de la misma solicitud. El corte de conocimiento es el 31 de enero de 2024, lo que significa que cualquier cosa posterior a esa fecha queda fuera de aquello con lo que se entrenó el modelo. Mistral destaca las matemáticas y la programación sólidas como fortalezas particulares de este modelo, junto con la eficiencia de costes para su tamaño.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. El contexto largo es adecuado para trabajar sobre documentos grandes, ya sea resumir un informe extenso, extraer detalles estructurados de un archivo o responder preguntas sobre un cuerpo de texto proporcionado en el prompt. Las fortalezas en matemáticas y programación lo hacen razonablemente adecuado para la asistencia con código, como explicar o generar código, y para tareas cuantitativas que necesitan razonamiento paso a paso. Como acepta archivos como entrada, puede usarse en canalizaciones donde los documentos se pasan directamente en lugar de pegarse como texto plano. El llamamiento a herramientas y las salidas estructuradas también lo hacen adecuado para flujos de trabajo estilo agente y para producir respuestas que el código posterior pueda analizar.

Se llama a través de la API compatible con OpenAI de api14 usando el id de modelo "mistralai/mixtral-8x22b-instruct". Los parámetros de solicitud admitidos son frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools y top_p. En la práctica, eso cubre los controles de muestreo habituales (temperature, top_p, penalizaciones, seed, stop), la longitud de salida mediante max_tokens, la configuración de la respuesta mediante response_format y structured_outputs, y el llamamiento a funciones mediante tools y tool_choice. Si ya tiene código escrito para la forma de chat completions de OpenAI, cambiar a este modelo es principalmente cuestión de cambiar el id de modelo.

Una cosa a tener en cuenta es el corte de conocimiento del 31 de enero de 2024, por lo que las preguntas sobre eventos posteriores no se responderán a partir de los datos de entrenamiento y pueden necesitar recuperación o contexto proporcionado en el prompt. El modelo es solo de texto en el lado de la salida, por lo que las tareas que requieren generar imágenes o audio quedan fuera de su alcance. Si su carga de trabajo depende de información muy reciente o de modalidades más allá de la entrada de texto y archivos, otro modelo puede encajar mejor.