Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct es un modelo de generación de texto de Meta, lanzado el 6 de diciembre de 2024. Pertenece a la familia Llama 3.3, un modelo de lenguaje grande multilingüe que Meta ha preentrenado y ajustado con instrucciones a 70B parámetros. La variante ajustada con instrucciones es solo texto, lo que significa que está diseñada para tareas guiadas por prompts en lugar de entrada multimodal.

El modelo recibe texto y devuelve texto, con una ventana de contexto de 131.072 tokens y una salida máxima de 16.384 tokens. Su fecha de corte de conocimiento es el 31 de diciembre de 2023, por lo que cualquier cosa posterior a esa fecha queda fuera de lo que aprendió durante el entrenamiento. Debido a que está ajustado con instrucciones, sigue las indicaciones de un prompt de forma bastante directa, lo que lo hace adecuado para tareas en las que describes lo que quieres en lugar de proporcionar ejemplos.

Esas capacidades apuntan a un conjunto bastante amplio de usos prácticos. El trabajo con contexto largo, como resumir o consultar documentos extensos, encaja con la ventana de 131.072 tokens, y el límite de salida de 16.384 tokens admite respuestas que van mucho más allá de una respuesta breve. La generación multilingüe y los asistentes de estilo chat encajan de forma natural dada la formación multilingüe del modelo. El seguimiento de instrucciones también lo convierte en una opción razonable para extracción, reescritura, clasificación y tareas de transformación similares en las que la entrada es texto y la salida es texto.

Lo llamas a través de la API compatible con OpenAI de api14 usando el id de modelo "meta-llama/llama-3.3-70b-instruct". El endpoint acepta la forma habitual de solicitud de estilo chat, y el modelo admite un amplio conjunto de parámetros: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs y top_p. Tanto el llamado a herramientas como las salidas estructuradas están disponibles, por lo que el function calling y las respuestas restringidas por esquema son opciones en lugar de soluciones alternativas.

Merece la pena tener en cuenta dos límites al elegir este modelo. Solo acepta texto, por lo que las entradas de imagen, audio u otras entradas no textuales quedan fuera de su alcance, y su conocimiento se detiene a finales de 2023, lo que importa para preguntas sobre eventos recientes a menos que proporciones tú mismo el contexto. Si tu tarea depende de esas cosas, encajaría mejor un modelo con la modalidad de entrada relevante o con una fecha de corte más reciente.