Meta: Llama 3.1 70B Instruct

Meta: Llama 3.1 70B Instruct es un modelo de generación de texto de Meta, parte de la familia Llama 3.1 que se lanzó el 23 de julio de 2024. Es la versión de 70 mil millones de parámetros, ajustada para el seguimiento de instrucciones, lo que significa que está diseñada para responder a prompts y mantener diálogos en lugar de simplemente continuar texto sin formato. Meta posiciona esta variante instruct como optimizada para casos de uso de diálogo de alta calidad, y se sitúa en el medio de la gama Llama 3.1 en términos de tamaño.

El modelo acepta texto como entrada y devuelve texto como salida, por lo que es un modelo de lenguaje puro sin manejo de imágenes, audio o vídeo. Su ventana de contexto es de 131.072 tokens, lo suficientemente grande como para contener documentos largos, conversaciones extendidas o archivos de código considerables en una sola solicitud. La longitud máxima de salida es de 16.384 tokens, por lo que las respuestas pueden ser sustanciales pero están limitadas muy por debajo del límite de entrada. Su fecha de corte de conocimiento es el 31 de diciembre de 2023, lo que significa que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento.

Esas características apuntan a un conjunto bastante claro de usos prácticos. El contexto largo es adecuado para resumir y responder preguntas sobre documentos extensos, revisión de contratos, síntesis de investigación y chat de múltiples turnos donde las partes anteriores de la conversación deben permanecer a la vista. El ajuste de instrucciones lo hace adecuado para asistentes, redacción, reescritura, clasificación y tareas de extracción. Debido a que el modelo admite el llamado a herramientas y salidas estructuradas, también se puede usar en canalizaciones donde el modelo necesita devolver datos con una forma definida o invocar funciones externas en lugar de solo producir texto libre.

Se llama a través de la API compatible con OpenAI de api14 usando el id de modelo meta-llama/llama-3.1-70b-instruct. Debido a que la interfaz sigue el esquema de OpenAI, puede apuntar un cliente de OpenAI existente a la URL base de api14 y pasar ese id en el campo model. Los parámetros de solicitud que admite son frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k y top_p. Eso cubre los controles de muestreo habituales, la salida determinista mediante seed, las secuencias de parada y tanto el llamado a herramientas como los modos de salida estructurada.

Vale la pena tener en cuenta algunos límites al decidir. La salida está limitada a 16.384 tokens aunque la ventana de contexto es mucho mayor, por lo que las tareas que necesitan respuestas únicas muy largas pueden requerir división o un modelo diferente. La fecha de corte de conocimiento del 31 de diciembre de 2023 significa que los eventos recientes no están cubiertos a menos que los proporcione en el prompt. Y dado que la entrada y la salida son solo texto, cualquier cosa que implique imágenes o audio queda fuera de lo que este modelo puede hacer.