Meta: Llama 3.1 70B Instruct es un modelo de texto de Meta, lanzado el 2024-07-23. Qwen2.5 72B Instruct es un modelo de texto de Qwen, lanzado el 2024-09-19. Ambos se encuentran en una clase de peso similar, aproximadamente setenta mil millones de parámetros, y ambos están ajustados por instrucciones para chat y trabajo general de asistente. Ninguno es un modelo pequeño, por lo que ambos están dirigidos a desarrolladores que quieren un comportamiento lingüístico general sólido en lugar de un caballo de batalla barato de alto volumen.
La diferencia más clara es el contexto. Llama 3.1 70B Instruct acepta hasta 131072 tokens, que es cuatro veces la ventana de 32768 tokens de Qwen2.5 72B Instruct. Si tu prompt incluye documentos largos, bases de código grandes, transcripciones largas o muchos fragmentos recuperados, esa brecha importa y Llama es el que hará que la entrada quepa. En cuanto a las modalidades, los dos son idénticos: texto de entrada, texto de salida, sin manejo de imagen o audio en ninguno de los dos lados. Sus listas de parámetros compatibles también coinciden exactamente, por lo que ambos exponen temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools y tool_choice. No hay ninguna capacidad que uno tenga que el otro carezca en esa lista, por lo que la elección no se reduce al soporte de características.
Para la selección práctica, empieza por el tamaño de la entrada. La recuperación de contexto largo, la revisión de archivos completos, el resumen de múltiples documentos y cualquier cosa en la que de otro modo dividirías agresivamente apuntan a Llama 3.1 70B Instruct, simplemente porque la ventana es más grande. Para tareas más cortas y bien delimitadas, como turnos de chat, llamadas a funciones individuales, clasificación, extracción de un párrafo o dos, y pasos de agente en los que cada solicitud es pequeña, Qwen2.5 72B Instruct es un valor predeterminado razonable, y es el más barato de los dos en entrada. El precio de salida es aproximadamente el mismo para ambos, por lo que el lado de la entrada es donde se muestra la diferencia de costo. Si tu carga de trabajo consiste principalmente en prompts cortos, esa ventaja de entrada para Qwen se acumula; si tus prompts son largos, la ventana más grande de Llama puede ahorrarte dividir solicitudes por completo, lo que puede importar más que la tarifa por token.
Llamar a cualquiera de los dos modelos a través de api14 funciona de la misma manera, porque la API es compatible con OpenAI. Apuntas tu cliente de OpenAI existente a la URL base de api14, envías tu clave y configuras el campo model. Para usar Llama, configura el id del modelo como meta-llama/llama-3.1-70b-instruct. Para usar Qwen, configúralo como qwen/qwen-2.5-72b-instruct. Todo lo demás en el cuerpo de la solicitud, messages, temperature, max_tokens, tools, response_format y el resto, permanece como está. Cambiar entre los dos es un cambio de una línea, por lo que puedes comparar ambos con tus propios prompts y elegir por ruta o por tarea sin reescribir tu integración.
Hay un caso en el que Qwen2.5 72B Instruct sigue siendo la mejor opción incluso cuando el contexto no es ajustado: cuando el costo en la entrada es el factor decisivo y tus prompts caben cómodamente dentro de 32768 tokens. En esa situación, la ventana más grande de Llama no te aporta nada que vayas a usar, y Qwen es la opción de entrada más barata. A la inversa, si alguna vez esperas crecer hacia entradas más largas, Llama 3.1 70B Instruct te da margen sin una segunda migración más adelante.