Meta: Llama 3.1 70B Instruct contra TheDrummer: UnslopNemo 12B
Una comparativa lado a lado de Meta: Llama 3.1 70B Instruct (2,52 US$ / 1M fragmentos (≈ 2,24 €)) y TheDrummer: UnslopNemo 12B (1,40 US$ / 1M fragmentos (≈ 1,25 €)) con precios actuales en USD y capacidades del catálogo de api14. Ambos funcionan a través de la misma API compatible con OpenAI.
Especificaciones
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Proveedor | Meta | TheDrummer |
| Entrada | 2,52 US$ / 1M fragmentos (≈ 2,24 €) | 1,40 US$ / 1M fragmentos (≈ 1,25 €) |
| Salida | 2,52 US$ / 1M fragmentos (≈ 2,24 €) | 1,40 US$ / 1M fragmentos (≈ 1,25 €) |
| Ventana de contexto | 131.072 | 1.024.000 |
| Salida máxima | 8192 | 819.200 |
| Entrada | text | text |
| Salida | text | text |
| Llamadas a herramientas | ||
| Salida estructurada | ||
| Control del razonamiento | ||
| Añadido | 23 jul 2024 | 8 nov 2024 |
Diferencias clave
- TheDrummer: UnslopNemo 12B es 44% más barato en tokens de entrada.
- TheDrummer: UnslopNemo 12B es 44% más barato en tokens de salida.
- TheDrummer: UnslopNemo 12B lee 7.8× más contexto (1.024.000 tokens).
- Solo TheDrummer: UnslopNemo 12B admite salida JSON estructurada.
- Una solicitud con 1.000 tokens de entrada y 500 de salida cuesta 0,00378 US$ con Meta: Llama 3.1 70B Instruct y 0,00210 US$ con TheDrummer: UnslopNemo 12B.
En detalle
Meta: Llama 3.1 70B Instruct es un modelo de texto de Meta, lanzado el 2024-07-23. TheDrummer: UnslopNemo 12B es un modelo de texto de TheDrummer, lanzado el 2024-11-08. Ambos se sirven a través de api14 como modelos de chat completion, y ambos reciben texto y devuelven texto, así que ninguno maneja imágenes ni audio. El nombre te dice casi todo lo que necesitas de un vistazo: uno es un modelo de instrucciones de propósito general de 70B de un laboratorio grande, el otro es un fine tune comunitario de 12B orientado a un estilo particular de salida.
La diferencia técnica más clara es la longitud de contexto. UnslopNemo 12B acepta hasta 1,024,000 tokens, mientras que Llama 3.1 70B Instruct acepta hasta 131,072 tokens. Si tu prompt o tu conjunto de documentos recuperados es muy grande, UnslopNemo es el que lo admitirá sin chunking. La otra diferencia significativa es el tooling. Llama 3.1 70B Instruct admite tools y tool_choice, por lo que puede impulsar function calling y bucles estilo agente directamente. UnslopNemo 12B no lista esos parámetros, así que no es el modelo al que recurrir cuando necesitas que el propio modelo emita llamadas a herramientas estructuradas. En precio los dos son más o menos iguales, así que el costo no es el factor decisivo aquí. Ambos admiten structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed y stop, así que el muestreo y el modelado de la salida funcionan igual en cualquiera de los dos.
Para el trabajo diario, elige según lo que la tarea realmente necesite. Si estás construyendo un agente, un pipeline de recuperación que tiene que llamar funciones, o cualquier cosa que necesite que el modelo decida qué herramienta invocar, Llama 3.1 70B Instruct es la elección natural porque es el único de los dos con soporte de herramientas. Si estás haciendo resumen de documentos largos, metiendo una base de código o una transcripción grande en una sola solicitud, o trabajando en escritura creativa y conversacional donde quieres un modelo más ligero con una ventana muy grande, UnslopNemo 12B encaja mejor. Para simple seguimiento de instrucciones, clasificación, extracción o reescritura donde la entrada cabe cómodamente en 131,072 tokens y no hay herramientas involucradas, cualquiera de los dos modelos hará el trabajo, y puedes elegir por estilo de salida en lugar de por capacidad.
Llamar a cualquiera de los dos modelos a través de api14 funciona de la misma manera, porque la API es compatible con OpenAI. Apuntas tu cliente a la URL base de api14, envías una solicitud normal de chat completions con tu arreglo de messages, y estableces el campo model. Para usar Llama 3.1 70B Instruct, establece model en meta-llama/llama-3.1-70b-instruct. Para usar UnslopNemo 12B, establece model en thedrummer/unslopnemo-12b. Todo lo demás en el cuerpo de la solicitud, incluidos temperature, max_tokens, stop y structured_outputs, permanece como está. Cambiar entre los dos es un cambio de una línea, así que puedes mantener ambos detrás de un valor de configuración y enrutar por solicitud sin reescribir tu integración.
Cambia con una sola cadena
Ambos modelos usan el mismo endpoint y la misma estructura de solicitud. Cambia el valor de model de "meta-llama/llama-3.1-70b-instruct" a "thedrummer/unslopnemo-12b": los prompts, el streaming y las herramientas siguen funcionando.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Más comparativas
- LiquidAI: LFM3-1.7B contra Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B contra Crouton Alpha
- LiquidAI: LFM3-1.7B contra Tencent: Hy4
- LiquidAI: LFM3-1.7B contra Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview contra Crouton Alpha
- Ricursive: Ripple 65B Preview contra Tencent: Hy4
- Ricursive: Ripple 65B Preview contra Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha contra Tencent: Hy4