Meta: Llama 3.1 8B Instruct

Meta: Llama 3.1 8B Instruct es un modelo de texto ajustado por instrucciones de Meta, parte de la familia Llama 3.1 que se lanzó en julio de 2024. El tamaño 8B se sitúa en el extremo más pequeño de esa familia, lo que lo convierte en una opción predeterminada razonable cuando se desea un asistente de propósito general capaz sin el peso de un modelo mucho más grande. Es un modelo solo de texto, por lo que funciona bien para chat, redacción, extracción y tareas lingüísticas similares, en lugar de cualquier cosa que implique imágenes o audio.

El modelo recibe texto y devuelve texto. Admite una ventana de contexto de 131.072 tokens, que es lo suficientemente grande como para contener documentos largos, conversaciones extensas o archivos de código considerables en una sola solicitud. La salida máxima es de 117.964 tokens, por lo que son posibles generaciones largas dentro de esa ventana. Su fecha de corte de conocimiento es 2023-12-31, lo que significa que los eventos e información posteriores a esa fecha no forman parte de sus datos de entrenamiento. Cuando la precisión dependa de hechos recientes, conviene proporcionar el contexto relevante uno mismo en lugar de confiar en la memoria del modelo.

Esas características apuntan a algunos usos prácticos. El resumen y la respuesta a preguntas sobre entradas largas encajan bien con la gran ventana de contexto. El seguimiento de instrucciones lo hace adecuado para asistentes de chat, reescritura, clasificación y extracción de datos estructurados a partir de texto desordenado. Como acepta herramientas y salidas estructuradas, también puede servir como el paso de razonamiento en una canalización que llama a funciones o devuelve JSON. El tamaño 8B mantiene la latencia y el uso de recursos comparativamente bajos, lo que ayuda cuando se ejecutan muchas solicitudes o se prototipa una idea antes de comprometerse con un modelo más grande.

Puedes llamarlo a través de la API compatible con OpenAI de api14 usando el id de modelo meta-llama/llama-3.1-8b-instruct. Apunta tu cliente OpenAI existente a la URL base de api14 y pasa ese id en el campo model. El modelo acepta frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs y top_p. Eso cubre los controles de muestreo habituales además de llamadas a herramientas, salidas estructuradas y ejecuciones reproducibles mediante seed.

Una cosa a sopesar es la fecha de corte de conocimiento y el tamaño del modelo. Si tu tarea necesita hechos posteriores al 2023-12-31, planea proporcionarlos en el prompt o mediante recuperación. Si necesitas entrada de imagen o audio, este modelo no la acepta, y un modelo multimodal sería una mejor opción. Para el razonamiento más difícil o la calidad de generación más exigente, un modelo más grande de la misma familia podría convenirte mejor, mientras que esta versión 8B sigue siendo una opción sólida para trabajo de alto volumen y menor complejidad.