Meta: Llama 3.1 70B Instruct contro TheDrummer: UnslopNemo 12B
Un confronto fianco a fianco tra Meta: Llama 3.1 70B Instruct (2,52 USD / 1M token (≈ 2,24 €)) e TheDrummer: UnslopNemo 12B (1,40 USD / 1M token (≈ 1,25 €)) con i prezzi in USD e le funzionalità aggiornati dal catalogo di api14. Entrambi funzionano con la stessa API compatibile OpenAI.
Specifiche
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Fornitore | Meta | TheDrummer |
| Ingresso | 2,52 USD / 1M token (≈ 2,24 €) | 1,40 USD / 1M token (≈ 1,25 €) |
| Uscita | 2,52 USD / 1M token (≈ 2,24 €) | 1,40 USD / 1M token (≈ 1,25 €) |
| Finestra di contesto | 131.072 | 1.024.000 |
| Output massimo | 8192 | 819.200 |
| Ingresso | text | text |
| Uscita | text | text |
| chiamata di strumenti | ||
| Output strutturato | ||
| Controllo del ragionamento | ||
| Aggiunto | 23 lug 2024 | 8 nov 2024 |
Differenze principali
- TheDrummer: UnslopNemo 12B costa il 44% in meno sui token di input.
- TheDrummer: UnslopNemo 12B costa il 44% in meno sui token di output.
- TheDrummer: UnslopNemo 12B legge 7.8× più contesto (1.024.000 token).
- Solo TheDrummer: UnslopNemo 12B supporta output JSON strutturato.
- Una richiesta con 1.000 token di input e 500 di output costa 0,00378 USD con Meta: Llama 3.1 70B Instruct e 0,00210 USD con TheDrummer: UnslopNemo 12B.
Nel dettaglio
Meta: Llama 3.1 70B Instruct è un modello testuale di Meta, rilasciato il 2024-07-23. TheDrummer: UnslopNemo 12B è un modello testuale di TheDrummer, rilasciato il 2024-11-08. Entrambi sono serviti tramite api14 come modelli di chat completion, ed entrambi accettano testo in input e restituiscono testo in output, quindi nessuno dei due gestisce immagini o audio. Il nome dice già molto a colpo d'occhio: uno è un modello instruction tuned general purpose da 70B di un grande laboratorio, l'altro è un fine tune comunitario da 12B orientato a uno stile particolare di output.
La differenza tecnica più evidente è la lunghezza del contesto. UnslopNemo 12B accetta fino a 1.024.000 token, mentre Llama 3.1 70B Instruct accetta fino a 131.072 token. Se il tuo prompt o l'insieme di documenti recuperati è molto grande, UnslopNemo è quello che lo farà entrare senza chunking. L'altra differenza significativa è il tooling. Llama 3.1 70B Instruct supporta tools e tool_choice, quindi può guidare function calling e loop in stile agente direttamente. UnslopNemo 12B non elenca quei parametri, quindi non è il modello a cui rivolgersi quando hai bisogno che il modello stesso emetta chiamate a tool strutturate. Sul prezzo i due sono più o meno equivalenti, quindi il costo non è il fattore decisivo qui. Entrambi supportano structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed e stop, quindi il campionamento e la modellazione dell'output funzionano allo stesso modo su entrambi i lati.
Per il lavoro quotidiano, scegli in base a ciò di cui il task ha effettivamente bisogno. Se stai costruendo un agente, una pipeline di retrieval che deve chiamare funzioni, o qualsiasi cosa che richieda al modello di decidere quale tool invocare, Llama 3.1 70B Instruct è la scelta naturale perché è l'unico dei due con supporto ai tool. Se stai facendo summarization di documenti lunghi, inserendo un grande codebase o una trascrizione in una singola richiesta, o lavorando su scrittura creativa e conversazionale dove vuoi un modello più leggero con una finestra molto ampia, UnslopNemo 12B è più adatto. Per semplice instruction following, classificazione, estrazione o riscrittura dove l'input entra comodamente in 131.072 token e non sono coinvolti tool, entrambi i modelli faranno il lavoro, e puoi scegliere in base allo stile di output piuttosto che alla capacità.
Chiamare uno dei due modelli tramite api14 funziona allo stesso modo, perché l'API è compatibile con OpenAI. Punti il tuo client all'URL base di api14, invii una normale richiesta di chat completions con il tuo array messages, e imposti il campo model. Per usare Llama 3.1 70B Instruct, imposta model su meta-llama/llama-3.1-70b-instruct. Per usare UnslopNemo 12B, imposta model su thedrummer/unslopnemo-12b. Tutto il resto nel corpo della richiesta, inclusi temperature, max_tokens, stop e structured_outputs, resta com'è. Passare dall'uno all'altro è un cambiamento di una riga, quindi puoi tenere entrambi dietro un valore di configurazione e instradare per richiesta senza riscrivere la tua integrazione.
Cambia modello con una stringa
Entrambi i modelli usano lo stesso endpoint e la stessa struttura di richiesta. Cambia il valore di model da "meta-llama/llama-3.1-70b-instruct" a "thedrummer/unslopnemo-12b", prompt, streaming e tool continuano a funzionare.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Altri confronti
- LiquidAI: LFM3-1.7B contro Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B contro Crouton Alpha
- LiquidAI: LFM3-1.7B contro Tencent: Hy4
- LiquidAI: LFM3-1.7B contro Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview contro Crouton Alpha
- Ricursive: Ripple 65B Preview contro Tencent: Hy4
- Ricursive: Ripple 65B Preview contro Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha contro Tencent: Hy4