Meta: Llama 3.1 70B Instruct contre Qwen2.5 72B Instruct
Un comparatif côte à côte de Meta: Llama 3.1 70B Instruct (2,52 $US / 1M jetons (≈ 2,24 €)) et Qwen2.5 72B Instruct (1,26 $US / 1M jetons (≈ 1,12 €)) d’après les prix actuels en USD et les capacités du catalogue api14. Les deux passent par la même API compatible OpenAI.
Caractéristiques
| Meta: Llama 3.1 70B Instruct | Qwen2.5 72B Instruct | |
|---|---|---|
| Fournisseur | Meta | Qwen |
| Entrée | 2,52 $US / 1M jetons (≈ 2,24 €) | 1,26 $US / 1M jetons (≈ 1,12 €) |
| Sortie | 2,52 $US / 1M jetons (≈ 2,24 €) | 1,40 $US / 1M jetons (≈ 1,25 €) |
| Fenêtre de contexte | 131 072 | 32 768 |
| Sortie max. | 8 192 | 16 384 |
| Entrée | text | text |
| Sortie | text | text |
| Appel d’outils | ||
| Sortie structurée | ||
| Contrôle du raisonnement | ||
| Ajouté le | 23 juil. 2024 | 19 sept. 2024 |
Principales différences
- Qwen2.5 72B Instruct est 50% moins cher sur les tokens d’entrée.
- Qwen2.5 72B Instruct est 44% moins cher sur les tokens de sortie.
- Meta: Llama 3.1 70B Instruct lit 4.0× plus de contexte (131 072 tokens).
- Seul Qwen2.5 72B Instruct prend en charge l’appel d’outils.
- Seul Qwen2.5 72B Instruct prend en charge la sortie JSON structurée.
- Une requête de 1 000 tokens en entrée et 500 en sortie coûte 0,00378 $US avec Meta: Llama 3.1 70B Instruct et 0,00196 $US avec Qwen2.5 72B Instruct.
En détail
Meta : Llama 3.1 70B Instruct est un modèle texte de Meta, publié le 2024-07-23. Qwen2.5 72B Instruct est un modèle texte de Qwen, publié le 2024-09-19. Les deux se situent dans la même catégorie de poids approximative, environ soixante-dix milliards de paramètres, et tous deux sont affinés sur instructions pour le chat et le travail d'assistant général. Aucun n'est un petit modèle, donc tous deux ciblent les développeurs qui veulent un comportement linguistique général solide plutôt qu'une machine de travail bon marché à haut volume.
La différence la plus claire est le contexte. Llama 3.1 70B Instruct accepte jusqu'à 131072 tokens, soit quatre fois la fenêtre de 32768 tokens de Qwen2.5 72B Instruct. Si votre invite inclut de longs documents, de grandes bases de code, de longues transcriptions ou de nombreux segments récupérés, cet écart compte et c'est Llama qui fera tenir l'entrée. Sur les modalités, les deux sont identiques : texte en entrée, texte en sortie, aucun traitement d'image ou d'audio des deux côtés. Leurs listes de paramètres pris en charge correspondent également exactement, donc tous deux exposent temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools et tool_choice. Il n'y a aucune capacité que l'un possède et que l'autre n'a pas dans cette liste, donc le choix ne se résume pas à la prise en charge des fonctionnalités.
Pour la sélection pratique, commencez par la taille de l'entrée. La récupération à long contexte, la revue de fichiers entiers, la synthèse multi documents et tout ce que vous découperiez autrement de manière agressive pointent vers Llama 3.1 70B Instruct, simplement parce que la fenêtre est plus grande. Pour des tâches plus courtes et bien délimitées comme des tours de chat, des appels de fonction uniques, la classification, l'extraction à partir d'un paragraphe ou deux, et des étapes d'agent où chaque requête est petite, Qwen2.5 72B Instruct est un choix par défaut raisonnable, et c'est le moins cher des deux en entrée. La tarification de sortie est à peu près la même pour les deux, donc c'est du côté de l'entrée que la différence de coût apparaît. Si votre charge de travail est principalement composée d'invites courtes, cet avantage d'entrée pour Qwen s'accumule ; si vos invites sont longues, la fenêtre plus grande de Llama peut vous éviter de diviser les requêtes du tout, ce qui peut compter plus que le tarif par token.
Appeler l'un ou l'autre modèle via api14 fonctionne de la même manière, car l'API est compatible OpenAI. Vous pointez votre client OpenAI existant vers l'URL de base api14, envoyez votre clé, et définissez le champ model. Pour utiliser Llama, définissez l'id de modèle sur meta-llama/llama-3.1-70b-instruct. Pour utiliser Qwen, définissez-le sur qwen/qwen-2.5-72b-instruct. Tout le reste dans le corps de la requête, messages, temperature, max_tokens, tools, response_format et le reste, reste tel quel. Basculer entre les deux est un changement d'une ligne, donc vous pouvez évaluer les deux par rapport à vos propres invites et choisir par route ou par tâche sans réécrire votre intégration.
Changer de modèle en une chaîne
Les deux modèles utilisent le même endpoint et la même structure de requête. Remplacez la valeur de model "meta-llama/llama-3.1-70b-instruct" par "qwen/qwen-2.5-72b-instruct" : prompts, streaming et outils continuent de fonctionner.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "qwen/qwen-2.5-72b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Plus de comparatifs
- LiquidAI: LFM3-1.7B contre Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B contre Crouton Alpha
- LiquidAI: LFM3-1.7B contre Tencent: Hy4
- LiquidAI: LFM3-1.7B contre Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview contre Crouton Alpha
- Ricursive: Ripple 65B Preview contre Tencent: Hy4
- Ricursive: Ripple 65B Preview contre Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha contre Tencent: Hy4