Meta: Llama 3.1 70B Instruct vs. Qwen2.5 72B Instruct
Ein direkter Vergleich von Meta: Llama 3.1 70B Instruct (2,52 $ / 1 Mio. Tokens (≈ 2,24 €)) und Qwen2.5 72B Instruct (1,26 $ / 1 Mio. Tokens (≈ 1,12 €)) mit aktuellen USD-Preisen und Funktionen aus dem api14-Katalog. Beide laufen über dieselbe OpenAI-kompatible API.
Technische Daten
| Meta: Llama 3.1 70B Instruct | Qwen2.5 72B Instruct | |
|---|---|---|
| Anbieter | Meta | Qwen |
| Eingabe | 2,52 $ / 1 Mio. Tokens (≈ 2,24 €) | 1,26 $ / 1 Mio. Tokens (≈ 1,12 €) |
| Ausgabe | 2,52 $ / 1 Mio. Tokens (≈ 2,24 €) | 1,40 $ / 1 Mio. Tokens (≈ 1,25 €) |
| Kontextfenster | 131.072 | 32.768 |
| Max. Ausgabe | 8.192 | 16.384 |
| Eingabe | text | text |
| Ausgabe | text | text |
| Tool Calling | ||
| Strukturierte Ausgabe | ||
| Reasoning-Steuerung | ||
| Hinzugefügt | 23.07.2024 | 19.09.2024 |
Die wichtigsten Unterschiede
- Qwen2.5 72B Instruct ist bei Eingabe-Tokens 50% günstiger.
- Qwen2.5 72B Instruct ist bei Ausgabe-Tokens 44% günstiger.
- Meta: Llama 3.1 70B Instruct liest 4.0× mehr Kontext (131.072 Tokens).
- Nur Qwen2.5 72B Instruct unterstützt Tool Calling.
- Nur Qwen2.5 72B Instruct unterstützt strukturierte JSON-Ausgabe.
- Eine Anfrage mit 1.000 Eingabe- und 500 Ausgabe-Tokens kostet mit Meta: Llama 3.1 70B Instruct 0,00378 $ und mit Qwen2.5 72B Instruct 0,00196 $.
Im Detail
Meta: Llama 3.1 70B Instruct ist ein Textmodell von Meta, veröffentlicht am 2024-07-23. Qwen2.5 72B Instruct ist ein Textmodell von Qwen, veröffentlicht am 2024-09-19. Beide liegen in derselben groben Gewichtsklasse, ungefähr siebzig Milliarden Parameter, und beide sind für Chat und allgemeine Assistentenarbeit instruction-getunt. Keines von beiden ist ein kleines Modell, daher richten sich beide an Entwickler, die starkes allgemeines Sprachverhalten wollen und kein günstiges Arbeitstier für hohes Volumen.
Der deutlichste Unterschied ist der Kontext. Llama 3.1 70B Instruct akzeptiert bis zu 131072 Tokens, was dem Vierfachen des Fensters von 32768 Tokens bei Qwen2.5 72B Instruct entspricht. Wenn Ihr Prompt lange Dokumente, große Codebasen, lange Transkripte oder viele abgerufene Chunks enthält, spielt diese Lücke eine Rolle, und Llama ist das Modell, in das die Eingabe passt. Bei den Modalitäten sind beide identisch: Text rein, Text raus, keine Bild- oder Audioverarbeitung auf keiner der beiden Seiten. Auch ihre Listen unterstützter Parameter stimmen exakt überein, beide bieten also temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools und tool_choice. In dieser Liste gibt es keine Fähigkeit, die das eine hat und dem anderen fehlt, die Wahl hängt also nicht von der Feature-Unterstützung ab.
Für die praktische Auswahl beginnen Sie mit der Eingabegröße. Langkontext-Retrieval, Review ganzer Dateien, Zusammenfassung mehrerer Dokumente und alles, wo Sie sonst aggressiv chunken würden, deuten auf Llama 3.1 70B Instruct hin, einfach weil das Fenster größer ist. Für kürzere, gut abgegrenzte Aufgaben wie Chat-Turns, einzelne Funktionsaufrufe, Klassifikation, Extraktion aus ein oder zwei Absätzen und Agent-Schritte, bei denen jede Anfrage klein ist, ist Qwen2.5 72B Instruct eine vernünftige Standardwahl, und es ist das günstigere der beiden bei der Eingabe. Die Ausgabepreise sind bei beiden etwa gleich, der Kostenunterschied zeigt sich also auf der Eingabeseite. Wenn Ihre Workload überwiegend aus kurzen Prompts besteht, summiert sich dieser Eingabevorteil für Qwen; wenn Ihre Prompts lang sind, kann das größere Fenster von Llama Ihnen ersparen, Anfragen überhaupt aufzuteilen, was wichtiger sein kann als der Preis pro Token.
Beide Modelle über api14 aufzurufen funktioniert auf dieselbe Weise, weil die API OpenAI-kompatibel ist. Sie richten Ihren vorhandenen OpenAI-Client auf die api14-Basis-URL, senden Ihren Schlüssel und setzen das Feld model. Um Llama zu verwenden, setzen Sie die Modell-ID auf meta-llama/llama-3.1-70b-instruct. Um Qwen zu verwenden, setzen Sie sie auf qwen/qwen-2.5-72b-instruct. Alles andere im Request-Body, messages, temperature, max_tokens, tools, response_format und der Rest, bleibt wie es ist. Das Umschalten zwischen den beiden ist eine Änderung von einer Zeile, Sie können also beide gegen Ihre eigenen Prompts benchmarken und pro Route oder pro Aufgabe wählen, ohne Ihre Integration umzuschreiben.
Wechseln mit einem String
Beide Modelle nutzen denselben Endpunkt und dieselbe Anfragestruktur. Ändern Sie den model-Wert von "meta-llama/llama-3.1-70b-instruct" auf "qwen/qwen-2.5-72b-instruct", Prompts, Streaming und Tools funktionieren weiter.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "qwen/qwen-2.5-72b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Weitere Vergleiche
- LiquidAI: LFM3-1.7B vs. Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B vs. Crouton Alpha
- LiquidAI: LFM3-1.7B vs. Tencent: Hy4
- LiquidAI: LFM3-1.7B vs. Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview vs. Crouton Alpha
- Ricursive: Ripple 65B Preview vs. Tencent: Hy4
- Ricursive: Ripple 65B Preview vs. Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha vs. Tencent: Hy4