Meta: Llama 3.2 3B Instruct

Meta: Llama 3.2 3B Instruct es un modelo de texto de Meta, identificado en api14 como meta-llama/llama-3.2-3b-instruct. Es un modelo de lenguaje grande multilingüe de 3 mil millones de parámetros construido sobre una arquitectura transformer y ajustado para el seguimiento de instrucciones. Meta lo lanzó el 25 de septiembre de 2024, y su fecha de corte de conocimiento es el 31 de diciembre de 2023. El modelo se sitúa en la categoría de texto, por lo que está orientado al trabajo con lenguaje en lugar de imágenes, audio u otras modalidades.

En el lado de la entrada acepta texto y devuelve texto. La ventana de contexto es de 131,072 tokens, lo cual es grande para un modelo de este tamaño y te permite pasar documentos largos, transcripciones o historiales de múltiples turnos en una sola solicitud. La salida máxima es de 117,964 tokens, por lo que las respuestas también pueden ser largas. Meta describe el modelo como optimizado para tareas de procesamiento de lenguaje natural como la generación de diálogo, el razonamiento y la summarización, y su entrenamiento multilingüe significa que puede manejar prompts en más de un idioma.

Esas capacidades apuntan a un conjunto de usos bastante claro. La summarización encaja de forma natural: informes largos, notas de reuniones o borradores de artículos pueden entrar y sale una versión más corta. La generación de diálogo lo hace adecuado para asistentes de chat, bots de soporte e interfaces conversacionales donde el ajuste por instrucciones mantiene las respuestas centradas en la tarea. Las tareas de razonamiento, como resolver un problema planteado en el prompt o extraer respuestas estructuradas de texto no estructurado, también están dentro del alcance. Como el modelo es pequeño, es una opción razonable cuando quieres baja latencia o quieres ejecutar muchas solicitudes, y el contexto largo significa que no tienes que dividir los documentos de forma agresiva antes de enviarlos.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo meta-llama/llama-3.2-3b-instruct. Como la interfaz sigue el formato de OpenAI, los clientes y SDK existentes generalmente funcionan con solo cambiar la URL base y el id de modelo. Los parámetros de solicitud que admite son frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, seed, stop, structured_outputs, temperature, top_k, top_logprobs y top_p. Eso cubre los controles de muestreo habituales (temperature, top_p, top_k, min_p), las penalizaciones por repetición, las ejecuciones deterministas mediante seed, las secuencias de parada, los límites de tokens y la inspección de probabilidades logarítmicas mediante logprobs y top_logprobs. También se admiten las salidas estructuradas, lo que ayuda cuando necesitas que la respuesta se ajuste a un esquema.

Lo principal que hay que sopesar es el tamaño del modelo. Con 3 mil millones de parámetros es un modelo compacto, así que para tareas que exigen razonamiento profundo o conocimiento amplio del mundo, un modelo más grande puede servirte mejor. Además es solo de texto, así que cualquier cosa que implique otros tipos de entrada queda fuera del alcance aquí. Si tu carga de trabajo es summarización, diálogo o razonamiento moderado y valoras una ventana de contexto larga, este modelo es una opción práctica.