Vi använder cookies. Cookies och webbläsarlagring håller dig inloggad och kommer ihåg dina preferenser. Med ditt tillstånd mäter vi också hur webbplatsen används. Du kan när som helst. Läs vår cookiepolicy.

Ny här? Se hur det fungerar En rundtur på 1 minut genom testmiljö, modeller och din API-nyckel.

Llama 3.1 70B Instruct vs UnslopNemo 12B: API-pris, kontext och funktioner · api14

Meta: Llama 3.1 70B Instruct mot TheDrummer: UnslopNemo 12B

En jämförelse sida vid sida av Meta: Llama 3.1 70B Instruct (2,52 US$ / 1M textdelar (≈ 24,69 kr)) och TheDrummer: UnslopNemo 12B (1,40 US$ / 1M textdelar (≈ 13,71 kr)) med aktuella USD-priser och funktioner från api14-katalogen. Båda körs via samma OpenAI-kompatibla API.

Specifikationer

	Meta: Llama 3.1 70B Instruct	TheDrummer: UnslopNemo 12B
Leverantör	Meta	TheDrummer
Indata	2,52 US$ / 1M textdelar (≈ 24,69 kr)	1,40 US$ / 1M textdelar (≈ 13,71 kr)
Utdata	2,52 US$ / 1M textdelar (≈ 24,69 kr)	1,40 US$ / 1M textdelar (≈ 13,71 kr)
Kontextfönster	131 072	1 024 000
Max utdata	8 192	819 200
Indata	text	text
Utdata	text	text
Verktygsanrop
Strukturerad utdata
Styrning av resonemang
Tillagd	23 juli 2024	8 nov. 2024

Viktiga skillnader

TheDrummer: UnslopNemo 12B är 44% billigare på indata-tokens.
TheDrummer: UnslopNemo 12B är 44% billigare på utdata-tokens.
TheDrummer: UnslopNemo 12B läser 7.8× mer kontext (1 024 000 tokens).
Endast TheDrummer: UnslopNemo 12B stöder strukturerad JSON-utdata.
Ett anrop med 1 000 indata- och 500 utdata-tokens kostar 0,00378 US$ med Meta: Llama 3.1 70B Instruct och 0,00210 US$ med TheDrummer: UnslopNemo 12B.

Mer i detalj

Meta: Llama 3.1 70B Instruct är en textmodell från Meta, släppt 2024-07-23. TheDrummer: UnslopNemo 12B är en textmodell från TheDrummer, släppt 2024-11-08. Båda serveras via api14 som chattkompletteringsmodeller, och båda tar emot text och returnerar text, så ingen av dem hanterar bilder eller ljud. Namngivningen berättar det mesta du behöver veta vid en snabb blick: den ena är en 70B allmänt ändamål instruktionstränad modell från ett stort labb, den andra är en 12B community-finjustering inriktad på en särskild utdatastil.

Den tydligaste tekniska skillnaden är kontextlängd. UnslopNemo 12B accepterar upp till 1 024 000 tokens, medan Llama 3.1 70B Instruct accepterar upp till 131 072 tokens. Om din prompt eller din hämtade dokumentsamling är mycket stor är UnslopNemo den som rymmer den utan chunkning. Den andra betydelsefulla skillnaden är verktygsstöd. Llama 3.1 70B Instruct stöder tools och tool_choice, så den kan driva funktionsanrop och agentliknande loopar direkt. UnslopNemo 12B listar inte dessa parametrar, så den är inte modellen att ta till när du behöver att modellen själv skickar strukturerade verktygsanrop. Priset är ungefär detsamma för de två, så kostnaden är inte den avgörande faktorn här. Båda stöder structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed och stop, så sampling och utformning av utdata fungerar på samma sätt på båda sidor.

För dagligt arbete, välj utifrån vad uppgiften faktiskt behöver. Om du bygger en agent, en hämtningspipeline som måste anropa funktioner, eller något som kräver att modellen avgör vilket verktyg som ska anropas, är Llama 3.1 70B Instruct det naturliga valet eftersom den är den enda av de två med verktygsstöd. Om du gör sammanfattning av långa dokument, stoppar in en stor kodbas eller utskrift i en enda förfrågan, eller arbetar med kreativt och konversationellt skrivande där du vill ha en lättare modell med ett mycket stort fönster, är UnslopNemo 12B en bättre matchning. För vanlig instruktionsföljning, klassificering, extrahering eller omskrivning där indata ryms bekvämt inom 131 072 tokens och inga verktyg är inblandade, klarar endera modellen jobbet, och du kan välja utifrån utdatastil snarare än förmåga.

Att anropa endera modellen via api14 fungerar på samma sätt, eftersom API:et är OpenAI-kompatibelt. Du pekar din klient mot api14:s bas-URL, skickar en vanlig chattkompletteringsförfrågan med din messages-array och anger model-fältet. För att använda Llama 3.1 70B Instruct, ange model till meta-llama/llama-3.1-70b-instruct. För att använda UnslopNemo 12B, ange model till thedrummer/unslopnemo-12b. Allt annat i förfrågningskroppen, inklusive temperature, max_tokens, stop och structured_outputs, förblir som det är. Att växla mellan de två är en ändring på en rad, så du kan hålla båda bakom ett konfigurationsvärde och dirigera per förfrågan utan att skriva om din integration.

Det finns ett fall värt att lyfta fram i den andra riktningen. Även om UnslopNemo 12B har det mycket större kontextfönstret stöder den inte verktyg, så om en långkontextuppgift också behöver funktionsanrop är Llama 3.1 70B Instruct fortfarande rätt val trots det mindre fönstret. Du skulle då behöva chunk:a din indata för att hålla dig inom 131 072 tokens snarare än att ge upp verktygsanvändning.

Byt med en sträng

Båda modellerna använder samma endpoint och anropsformat. Ändra model-värdet från "meta-llama/llama-3.1-70b-instruct" till "thedrummer/unslopnemo-12b", promptar, streaming och verktyg fortsätter att fungera.

Meta: Llama 3.1 70B Instruct: detaljer och testmiljö →TheDrummer: UnslopNemo 12B: detaljer och testmiljö →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "thedrummer/unslopnemo-12b",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct mot TheDrummer: UnslopNemo 12B

Specifikationer

Viktiga skillnader

Mer i detalj

Byt med en sträng

Fler jämförelser