Meta: Llama 3.1 70B Instruct vs. TheDrummer: UnslopNemo 12B
Ein direkter Vergleich von Meta: Llama 3.1 70B Instruct (2,52 $ / 1 Mio. Tokens (≈ 2,24 €)) und TheDrummer: UnslopNemo 12B (1,40 $ / 1 Mio. Tokens (≈ 1,25 €)) mit aktuellen USD-Preisen und Funktionen aus dem api14-Katalog. Beide laufen über dieselbe OpenAI-kompatible API.
Technische Daten
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Anbieter | Meta | TheDrummer |
| Eingabe | 2,52 $ / 1 Mio. Tokens (≈ 2,24 €) | 1,40 $ / 1 Mio. Tokens (≈ 1,25 €) |
| Ausgabe | 2,52 $ / 1 Mio. Tokens (≈ 2,24 €) | 1,40 $ / 1 Mio. Tokens (≈ 1,25 €) |
| Kontextfenster | 131.072 | 1.024.000 |
| Max. Ausgabe | 8.192 | 819.200 |
| Eingabe | text | text |
| Ausgabe | text | text |
| Tool Calling | ||
| Strukturierte Ausgabe | ||
| Reasoning-Steuerung | ||
| Hinzugefügt | 23.07.2024 | 08.11.2024 |
Die wichtigsten Unterschiede
- TheDrummer: UnslopNemo 12B ist bei Eingabe-Tokens 44% günstiger.
- TheDrummer: UnslopNemo 12B ist bei Ausgabe-Tokens 44% günstiger.
- TheDrummer: UnslopNemo 12B liest 7.8× mehr Kontext (1.024.000 Tokens).
- Nur TheDrummer: UnslopNemo 12B unterstützt strukturierte JSON-Ausgabe.
- Eine Anfrage mit 1.000 Eingabe- und 500 Ausgabe-Tokens kostet mit Meta: Llama 3.1 70B Instruct 0,00378 $ und mit TheDrummer: UnslopNemo 12B 0,00210 $.
Im Detail
Meta: Llama 3.1 70B Instruct ist ein Textmodell von Meta, veröffentlicht am 2024-07-23. TheDrummer: UnslopNemo 12B ist ein Textmodell von TheDrummer, veröffentlicht am 2024-11-08. Beide werden über api14 als Chat-Completion-Modelle bereitgestellt, und beide nehmen Text entgegen und geben Text zurück, sodass keines von beiden Bilder oder Audio verarbeitet. Die Benennung verrät auf einen Blick das meiste, was Sie wissen müssen: Das eine ist ein 70B-Allzweck-Instruktionsmodell aus einem großen Labor, das andere ist ein 12B-Community-Fine-Tune, das auf einen bestimmten Ausgabestil ausgerichtet ist.
Der klarste technische Unterschied ist die Kontextlänge. UnslopNemo 12B akzeptiert bis zu 1.024.000 Tokens, während Llama 3.1 70B Instruct bis zu 131.072 Tokens akzeptiert. Wenn Ihr Prompt oder Ihr abgerufener Dokumentensatz sehr groß ist, ist UnslopNemo das Modell, das ihn ohne Chunking aufnehmen kann. Der andere bedeutende Unterschied ist die Tooling-Unterstützung. Llama 3.1 70B Instruct unterstützt tools und tool_choice, kann also Function Calling und Agent-Schleifen direkt steuern. UnslopNemo 12B listet diese Parameter nicht auf, ist also nicht das Modell der Wahl, wenn Sie möchten, dass das Modell selbst strukturierte Tool-Aufrufe ausgibt. Beim Preis sind die beiden etwa gleich, die Kosten sind hier also nicht der entscheidende Faktor. Beide unterstützen structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed und stop, sodass Sampling und Ausgabesteuerung auf beiden Seiten gleich funktionieren.
Für die tägliche Arbeit sollten Sie danach wählen, was die Aufgabe tatsächlich benötigt. Wenn Sie einen Agenten bauen, eine Retrieval-Pipeline, die Funktionen aufrufen muss, oder irgendetwas, bei dem das Modell entscheiden soll, welches Tool aufgerufen wird, ist Llama 3.1 70B Instruct die natürliche Wahl, weil es das einzige der beiden mit Tool-Unterstützung ist. Wenn Sie lange Dokumente zusammenfassen, eine große Codebasis oder ein Transkript in eine einzige Anfrage packen oder an kreativem und konversationellem Schreiben arbeiten, bei dem Sie ein leichteres Modell mit einem sehr großen Fenster möchten, ist UnslopNemo 12B die bessere Wahl. Für reine Instruktionsbefolgung, Klassifikation, Extraktion oder Umschreibung, bei denen die Eingabe bequem in 131.072 Tokens passt und keine Tools beteiligt sind, erledigt jedes der beiden Modelle die Aufgabe, und Sie können nach Ausgabestil statt nach Fähigkeit wählen.
Der Aufruf eines der beiden Modelle über api14 funktioniert auf die gleiche Weise, da die API OpenAI-kompatibel ist. Sie richten Ihren Client auf die api14-Basis-URL, senden eine normale Chat-Completions-Anfrage mit Ihrem messages-Array und setzen das Feld model. Um Llama 3.1 70B Instruct zu verwenden, setzen Sie model auf meta-llama/llama-3.1-70b-instruct. Um UnslopNemo 12B zu verwenden, setzen Sie model auf thedrummer/unslopnemo-12b. Alles andere im Request-Body, einschließlich temperature, max_tokens, stop und structured_outputs, bleibt unverändert. Das Umschalten zwischen den beiden ist eine Änderung von einer Zeile, sodass Sie beide hinter einem Konfigurationswert halten und pro Anfrage routen können, ohne Ihre Integration umzuschreiben.
Wechseln mit einem String
Beide Modelle nutzen denselben Endpunkt und dieselbe Anfragestruktur. Ändern Sie den model-Wert von "meta-llama/llama-3.1-70b-instruct" auf "thedrummer/unslopnemo-12b", Prompts, Streaming und Tools funktionieren weiter.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Weitere Vergleiche
- LiquidAI: LFM3-1.7B vs. Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B vs. Crouton Alpha
- LiquidAI: LFM3-1.7B vs. Tencent: Hy4
- LiquidAI: LFM3-1.7B vs. Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview vs. Crouton Alpha
- Ricursive: Ripple 65B Preview vs. Tencent: Hy4
- Ricursive: Ripple 65B Preview vs. Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha vs. Tencent: Hy4