Meta: Llama 3.1 70B Instruct contre TheDrummer: UnslopNemo 12B
Un comparatif côte à côte de Meta: Llama 3.1 70B Instruct (2,52 $US / 1M jetons (≈ 2,24 €)) et TheDrummer: UnslopNemo 12B (1,40 $US / 1M jetons (≈ 1,25 €)) d’après les prix actuels en USD et les capacités du catalogue api14. Les deux passent par la même API compatible OpenAI.
Caractéristiques
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Fournisseur | Meta | TheDrummer |
| Entrée | 2,52 $US / 1M jetons (≈ 2,24 €) | 1,40 $US / 1M jetons (≈ 1,25 €) |
| Sortie | 2,52 $US / 1M jetons (≈ 2,24 €) | 1,40 $US / 1M jetons (≈ 1,25 €) |
| Fenêtre de contexte | 131 072 | 1 024 000 |
| Sortie max. | 8 192 | 819 200 |
| Entrée | text | text |
| Sortie | text | text |
| Appel d’outils | ||
| Sortie structurée | ||
| Contrôle du raisonnement | ||
| Ajouté le | 23 juil. 2024 | 8 nov. 2024 |
Principales différences
- TheDrummer: UnslopNemo 12B est 44% moins cher sur les tokens d’entrée.
- TheDrummer: UnslopNemo 12B est 44% moins cher sur les tokens de sortie.
- TheDrummer: UnslopNemo 12B lit 7.8× plus de contexte (1 024 000 tokens).
- Seul TheDrummer: UnslopNemo 12B prend en charge la sortie JSON structurée.
- Une requête de 1 000 tokens en entrée et 500 en sortie coûte 0,00378 $US avec Meta: Llama 3.1 70B Instruct et 0,00210 $US avec TheDrummer: UnslopNemo 12B.
En détail
Meta : Llama 3.1 70B Instruct est un modèle texte de Meta, publié le 2024-07-23. TheDrummer : UnslopNemo 12B est un modèle texte de TheDrummer, publié le 2024-11-08. Les deux sont servis via api14 en tant que modèles de complétion de chat, et les deux prennent du texte en entrée et renvoient du texte en sortie, donc aucun des deux ne gère les images ou l'audio. Le nom indique l'essentiel en un coup d'œil : l'un est un modèle généraliste de 70B affiné pour les instructions, issu d'un grand laboratoire, l'autre est un affinage communautaire de 12B orienté vers un style de sortie particulier.
La différence technique la plus claire est la longueur de contexte. UnslopNemo 12B accepte jusqu'à 1 024 000 tokens, tandis que Llama 3.1 70B Instruct accepte jusqu'à 131 072 tokens. Si votre prompt ou votre ensemble de documents récupérés est très volumineux, UnslopNemo est celui qui le prendra en charge sans découpage. L'autre différence notable concerne l'outillage. Llama 3.1 70B Instruct prend en charge tools et tool_choice, il peut donc piloter directement l'appel de fonctions et les boucles de type agent. UnslopNemo 12B ne liste pas ces paramètres, ce n'est donc pas le modèle vers lequel se tourner lorsque vous avez besoin que le modèle lui-même émette des appels d'outils structurés. Côté prix, les deux sont à peu près équivalents, le coût n'est donc pas le facteur décisif ici. Les deux prennent en charge structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed et stop, donc l'échantillonnage et le façonnage de la sortie fonctionnent de la même manière des deux côtés.
Pour le travail quotidien, choisissez en fonction de ce dont la tâche a réellement besoin. Si vous construisez un agent, un pipeline de récupération qui doit appeler des fonctions, ou quoi que ce soit qui nécessite que le modèle décide quel outil invoquer, Llama 3.1 70B Instruct est le choix naturel car c'est le seul des deux à prendre en charge les outils. Si vous faites de la synthèse de longs documents, que vous injectez une grande base de code ou une transcription dans une seule requête, ou que vous travaillez sur de l'écriture créative et conversationnelle où vous voulez un modèle plus léger avec une très grande fenêtre, UnslopNemo 12B est plus adapté. Pour le simple suivi d'instructions, la classification, l'extraction ou la réécriture, lorsque l'entrée tient confortablement dans 131 072 tokens et qu'aucun outil n'est impliqué, l'un ou l'autre modèle fera le travail, et vous pouvez choisir selon le style de sortie plutôt que selon la capacité.
Appeler l'un ou l'autre modèle via api14 fonctionne de la même manière, car l'API est compatible OpenAI. Vous pointez votre client vers l'URL de base d'api14, envoyez une requête de complétion de chat normale avec votre tableau messages, et définissez le champ model. Pour utiliser Llama 3.1 70B Instruct, définissez model sur meta-llama/llama-3.1-70b-instruct. Pour utiliser UnslopNemo 12B, définissez model sur thedrummer/unslopnemo-12b. Tout le reste dans le corps de la requête, y compris temperature, max_tokens, stop et structured_outputs, reste inchangé. Passer de l'un à l'autre est un changement d'une ligne, vous pouvez donc garder les deux derrière une valeur de configuration et router par requête sans réécrire votre intégration.
Changer de modèle en une chaîne
Les deux modèles utilisent le même endpoint et la même structure de requête. Remplacez la valeur de model "meta-llama/llama-3.1-70b-instruct" par "thedrummer/unslopnemo-12b" : prompts, streaming et outils continuent de fonctionner.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Plus de comparatifs
- LiquidAI: LFM3-1.7B contre Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B contre Crouton Alpha
- LiquidAI: LFM3-1.7B contre Tencent: Hy4
- LiquidAI: LFM3-1.7B contre Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview contre Crouton Alpha
- Ricursive: Ripple 65B Preview contre Tencent: Hy4
- Ricursive: Ripple 65B Preview contre Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha contre Tencent: Hy4