Meta: Llama 3.1 70B Instruct tegen TheDrummer: UnslopNemo 12B
Een vergelijking naast elkaar van Meta: Llama 3.1 70B Instruct (US$ 2,52 / 1M tekstdelen (≈ € 2,24)) en TheDrummer: UnslopNemo 12B (US$ 1,40 / 1M tekstdelen (≈ € 1,25)) met actuele USD-prijzen en mogelijkheden uit de catalogus van api14. Beide werken via dezelfde OpenAI-compatibele API.
Specificaties
| Meta: Llama 3.1 70B Instruct | TheDrummer: UnslopNemo 12B | |
|---|---|---|
| Aanbieder | Meta | TheDrummer |
| Invoer | US$ 2,52 / 1M tekstdelen (≈ € 2,24) | US$ 1,40 / 1M tekstdelen (≈ € 1,25) |
| Uitvoer | US$ 2,52 / 1M tekstdelen (≈ € 2,24) | US$ 1,40 / 1M tekstdelen (≈ € 1,25) |
| Contextvenster | 131.072 | 1.024.000 |
| Maximale output | 8.192 | 819.200 |
| Invoer | text | text |
| Uitvoer | text | text |
| tool-aanroepen | ||
| Gestructureerde output | ||
| Instelbaar redeneren | ||
| Toegevoegd | 23 jul 2024 | 8 nov 2024 |
Belangrijkste verschillen
- TheDrummer: UnslopNemo 12B is 44% goedkoper op inputtokens.
- TheDrummer: UnslopNemo 12B is 44% goedkoper op outputtokens.
- TheDrummer: UnslopNemo 12B leest 7.8× meer context (1.024.000 tokens).
- Alleen TheDrummer: UnslopNemo 12B ondersteunt gestructureerde JSON-output.
- Een verzoek met 1.000 input- en 500 outputtokens kost US$ 0,00378 met Meta: Llama 3.1 70B Instruct en US$ 0,00210 met TheDrummer: UnslopNemo 12B.
In detail
Meta: Llama 3.1 70B Instruct is een tekstmodel van Meta, uitgebracht op 2024-07-23. TheDrummer: UnslopNemo 12B is een tekstmodel van TheDrummer, uitgebracht op 2024-11-08. Beide worden aangeboden via api14 als chat completion modellen, en beide nemen tekst aan en geven tekst terug, dus geen van beide verwerkt afbeeldingen of audio. De naamgeving vertelt je in één oogopslag het meeste van wat je moet weten: de ene is een 70B algemeen instructiegetuned model van een groot lab, de andere is een 12B community fine tune gericht op een bepaalde uitvoerstijl.
Het duidelijkste technische verschil is de contextlengte. UnslopNemo 12B accepteert tot 1.024.000 tokens, terwijl Llama 3.1 70B Instruct tot 131.072 tokens accepteert. Als je prompt of opgehaalde documentset erg groot is, is UnslopNemo degene die het past zonder chunking. Het andere betekenisvolle verschil is tooling. Llama 3.1 70B Instruct ondersteunt tools en tool_choice, dus het kan function calling en agent-achtige loops direct aansturen. UnslopNemo 12B vermeldt die parameters niet, dus het is niet het model om naar te grijpen wanneer je wilt dat het model zelf gestructureerde tool calls uitzendt. Qua prijs ontlopen de twee elkaar nauwelijks, dus kosten zijn hier niet de beslissende factor. Beide ondersteunen structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed en stop, dus sampling en het vormgeven van de uitvoer werken aan beide kanten hetzelfde.
Voor dagelijks werk kies je op basis van wat de taak daadwerkelijk nodig heeft. Als je een agent bouwt, een retrieval pipeline die functies moet aanroepen, of iets waarbij het model moet beslissen welke tool het aanroept, is Llama 3.1 70B Instruct de natuurlijke keuze, omdat het de enige van de twee is met tool-ondersteuning. Als je lange documenten samenvat, een grote codebase of transcript in één verzoek propt, of werkt aan creatief en conversationeel schrijven waarbij je een lichter model met een zeer groot venster wilt, is UnslopNemo 12B beter geschikt. Voor gewoon instructies volgen, classificatie, extractie of herschrijven waarbij de invoer comfortabel binnen 131.072 tokens past en er geen tools bij betrokken zijn, doet elk model het werk, en kun je kiezen op basis van uitvoerstijl in plaats van capaciteit.
Beide modellen aanroepen via api14 werkt hetzelfde, omdat de API OpenAI-compatibel is. Je richt je client op de api14 base URL, stuurt een normaal chat completions verzoek met je messages-array, en stelt het model-veld in. Om Llama 3.1 70B Instruct te gebruiken, stel je model in op meta-llama/llama-3.1-70b-instruct. Om UnslopNemo 12B te gebruiken, stel je model in op thedrummer/unslopnemo-12b. Al het andere in de request body, inclusief temperature, max_tokens, stop en structured_outputs, blijft zoals het is. Wisselen tussen de twee is een wijziging van één regel, dus je kunt beide achter een configuratiewaarde houden en per verzoek routeren zonder je integratie te herschrijven.
Wissel met één string
Beide modellen gebruiken hetzelfde endpoint en dezelfde verzoekstructuur. Verander de waarde van model van "meta-llama/llama-3.1-70b-instruct" naar "thedrummer/unslopnemo-12b", prompts, streaming en tools blijven werken.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "thedrummer/unslopnemo-12b",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Meer vergelijkingen
- LiquidAI: LFM3-1.7B tegen Ricursive: Ripple 65B Preview
- LiquidAI: LFM3-1.7B tegen Crouton Alpha
- LiquidAI: LFM3-1.7B tegen Tencent: Hy4
- LiquidAI: LFM3-1.7B tegen Z.ai: GLM 5.3 FlashX Legal
- Ricursive: Ripple 65B Preview tegen Crouton Alpha
- Ricursive: Ripple 65B Preview tegen Tencent: Hy4
- Ricursive: Ripple 65B Preview tegen Z.ai: GLM 5.3 FlashX Legal
- Crouton Alpha tegen Tencent: Hy4