Vi använder cookies. Cookies och webbläsarlagring håller dig inloggad och kommer ihåg dina preferenser. Med ditt tillstånd mäter vi också hur webbplatsen används. Du kan när som helst. Läs vår cookiepolicy.

Ny här? Se hur det fungerar En rundtur på 1 minut genom testmiljö, modeller och din API-nyckel.

Llama 3.1 70B Instruct vs Qwen2.5 72B Instruct: API-pris, kontext och funktioner · api14

Meta: Llama 3.1 70B Instruct mot Qwen2.5 72B Instruct

En jämförelse sida vid sida av Meta: Llama 3.1 70B Instruct (2,52 US$ / 1M textdelar (≈ 24,92 kr)) och Qwen2.5 72B Instruct (1,26 US$ / 1M textdelar (≈ 12,46 kr)) med aktuella USD-priser och funktioner från api14-katalogen. Båda körs via samma OpenAI-kompatibla API.

Specifikationer

	Meta: Llama 3.1 70B Instruct	Qwen2.5 72B Instruct
Leverantör	Meta	Qwen
Indata	2,52 US$ / 1M textdelar (≈ 24,92 kr)	1,26 US$ / 1M textdelar (≈ 12,46 kr)
Utdata	2,52 US$ / 1M textdelar (≈ 24,92 kr)	1,40 US$ / 1M textdelar (≈ 13,85 kr)
Kontextfönster	131 072	32 768
Max utdata	8 192	16 384
Indata	text	text
Utdata	text	text
Verktygsanrop
Strukturerad utdata
Styrning av resonemang
Tillagd	23 juli 2024	19 sep. 2024

Viktiga skillnader

Qwen2.5 72B Instruct är 50% billigare på indata-tokens.
Qwen2.5 72B Instruct är 44% billigare på utdata-tokens.
Meta: Llama 3.1 70B Instruct läser 4.0× mer kontext (131 072 tokens).
Endast Qwen2.5 72B Instruct stöder verktygsanrop.
Endast Qwen2.5 72B Instruct stöder strukturerad JSON-utdata.
Ett anrop med 1 000 indata- och 500 utdata-tokens kostar 0,00378 US$ med Meta: Llama 3.1 70B Instruct och 0,00196 US$ med Qwen2.5 72B Instruct.

Mer i detalj

Meta: Llama 3.1 70B Instruct är en textmodell från Meta, släppt 2024-07-23. Qwen2.5 72B Instruct är en textmodell från Qwen, släppt 2024-09-19. Båda ligger i ungefär samma viktklass, runt sjuttio miljarder parametrar, och båda är instruktionstränade för chatt och allmänt assistentarbete. Ingen av dem är en liten modell, så båda riktar sig till utvecklare som vill ha starkt allmänt språkbeteende snarare än en billig arbetshäst för hög volym.

Den tydligaste skillnaden är kontexten. Llama 3.1 70B Instruct accepterar upp till 131072 tokens, vilket är fyra gånger så mycket som det 32768 token stora fönstret hos Qwen2.5 72B Instruct. Om din prompt innehåller långa dokument, stora kodbaser, långa transkriptioner eller många hämtade chunkar spelar den klyftan roll, och Llama är den som kommer att rymma indata. När det gäller modaliteter är de två identiska: text in, text ut, ingen bild eller ljudhantering på någon av sidorna. Deras listor över stödda parametrar matchar också exakt, så båda exponerar temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools och tool_choice. Det finns ingen förmåga som den ena har som den andra saknar i den listan, så valet handlar inte om funktionsstöd.

För praktiskt val, börja med indatans storlek. Lång kontexthämtning, granskning av hela filer, sammanfattning av flera dokument och allt där du annars skulle chunk:a aggressivt pekar mot Llama 3.1 70B Instruct, helt enkelt för att fönstret är större. För kortare, väl avgränsade uppgifter som chatturer, enstaka funktionsanrop, klassificering, extrahering från en eller två stycken, och agentsteg där varje begäran är liten, är Qwen2.5 72B Instruct ett rimligt standardval, och den är billigare av de två på indata. Utdatapriset är ungefär detsamma för båda, så det är på indatasidan som kostnadsskillnaden syns. Om din arbetsbelastning mest består av korta prompter ackumuleras den indatafördelen för Qwen; om dina prompter är långa kan Llamas större fönster spara dig från att dela upp begäranden över huvud taget, vilket kan spela större roll än priset per token.

Att anropa endera modellen via api14 fungerar på samma sätt, eftersom API:et är OpenAI-kompatibelt. Du pekar din befintliga OpenAI-klient mot api14:s bas-URL, skickar din nyckel och anger fältet model. För att använda Llama, ange modell-id:t till meta-llama/llama-3.1-70b-instruct. För att använda Qwen, ange det till qwen/qwen-2.5-72b-instruct. Allt annat i förfrågningskroppen, messages, temperature, max_tokens, tools, response_format och resten, förblir som det är. Att växla mellan de två är en ändring på en rad, så du kan benchmarka båda mot dina egna prompter och välja per rutt eller per uppgift utan att skriva om din integration.

Det finns ett fall där Qwen2.5 72B Instruct fortfarande är det bättre valet även när kontexten inte är trång: när kostnaden för indata är den avgörande faktorn och dina prompter ryms bekvämt inom 32768 tokens. I den situationen ger Llamas större fönster dig inget du kommer att använda, och Qwen är det billigare indataalternativet. Omvänt, om du någon gång förväntar dig att växa in i längre indata, ger Llama 3.1 70B Instruct dig utrymme utan en andra migrering senare.

Byt med en sträng

Båda modellerna använder samma endpoint och anropsformat. Ändra model-värdet från "meta-llama/llama-3.1-70b-instruct" till "qwen/qwen-2.5-72b-instruct", promptar, streaming och verktyg fortsätter att fungera.

Meta: Llama 3.1 70B Instruct: detaljer och testmiljö →Qwen2.5 72B Instruct: detaljer och testmiljö →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "qwen/qwen-2.5-72b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct mot Qwen2.5 72B Instruct

Specifikationer

Viktiga skillnader

Mer i detalj

Byt med en sträng

Fler jämförelser