Używamy plików cookie. Pliki cookie i pamięć przeglądarki pozwalają utrzymać logowanie i zapamiętać Twoje preferencje. Za Twoją zgodą mierzymy też, jak korzystasz ze strony. W każdej chwili możesz . Zobacz naszą politykę cookie.

Nowy tutaj? Zobacz, jak to działa Minutowa wycieczka po piaskownicy, modelach i Twoim kluczu API.

Llama 3.1 70B Instruct vs Qwen2.5 72B Instruct: cena API, kontekst i funkcje · api14

Meta: Llama 3.1 70B Instruct kontra Qwen2.5 72B Instruct

Porównanie Meta: Llama 3.1 70B Instruct (2,52 USD / 1M tokenów (≈ 9,87 zł)) i Qwen2.5 72B Instruct (1,26 USD / 1M tokenów (≈ 4,94 zł)) obok siebie na podstawie aktualnych cen w USD i możliwości z katalogu api14. Oba działają przez to samo API zgodne z OpenAI.

Specyfikacja

	Meta: Llama 3.1 70B Instruct	Qwen2.5 72B Instruct
Dostawca	Meta	Qwen
Wejście	2,52 USD / 1M tokenów (≈ 9,87 zł)	1,26 USD / 1M tokenów (≈ 4,94 zł)
Wyjście	2,52 USD / 1M tokenów (≈ 9,87 zł)	1,40 USD / 1M tokenów (≈ 5,49 zł)
Okno kontekstu	131 072	32 768
Maks. wyjście	8192	16 384
Wejście	text	text
Wyjście	text	text
Wywołania narzędzi
Ustrukturyzowane wyjście
Sterowanie rozumowaniem
Dodano	23 lip 2024	19 wrz 2024

Najważniejsze różnice

Qwen2.5 72B Instruct jest o 50% tańszy na tokenach wejściowych.
Qwen2.5 72B Instruct jest o 44% tańszy na tokenach wyjściowych.
Meta: Llama 3.1 70B Instruct przyjmuje 4.0× więcej kontekstu (131 072 tokenów).
Tylko Qwen2.5 72B Instruct obsługuje wywołania narzędzi.
Tylko Qwen2.5 72B Instruct obsługuje ustrukturyzowane wyjście JSON.
Żądanie z 1000 tokenów wejściowych i 500 wyjściowych kosztuje 0,00378 USD z Meta: Llama 3.1 70B Instruct i 0,00196 USD z Qwen2.5 72B Instruct.

Szczegółowo

Meta: Llama 3.1 70B Instruct to model tekstowy od Meta, wydany 2024-07-23. Qwen2.5 72B Instruct to model tekstowy od Qwen, wydany 2024-09-19. Oba należą do mniej więcej tej samej klasy wagowej, około siedemdziesięciu miliardów parametrów, i oba są dostrojone instrukcyjnie do czatu oraz ogólnej pracy asystenckiej. Żaden z nich nie jest małym modelem, więc oba są skierowane do deweloperów, którzy chcą mocnego ogólnego zachowania językowego, a nie taniego konia roboczego do dużych wolumenów.

Najwyraźniejsza różnica to kontekst. Llama 3.1 70B Instruct przyjmuje do 131072 tokenów, czyli cztery razy więcej niż okno 32768 tokenów w Qwen2.5 72B Instruct. Jeśli Twoje polecenie zawiera długie dokumenty, duże bazy kodu, długie transkrypcje lub wiele pobranych fragmentów, ta różnica ma znaczenie i to Llama zmieści dane wejściowe. Pod względem modalności oba są identyczne: tekst na wejściu, tekst na wyjściu, żadna strona nie obsługuje obrazu ani dźwięku. Ich listy obsługiwanych parametrów również dokładnie się pokrywają, więc oba udostępniają temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools oraz tool_choice. Żadna funkcja z tej listy nie występuje tylko w jednym z nich, więc wybór nie sprowadza się do obsługi funkcji.

Przy praktycznym wyborze zacznij od rozmiaru danych wejściowych. Długokontekstowe wyszukiwanie, przegląd całych plików, streszczanie wielu dokumentów i wszystko, co w innym wypadku dzieliłbyś agresywnie na fragmenty, wskazuje na Llama 3.1 70B Instruct, po prostu dlatego, że okno jest większe. Do krótszych, dobrze ograniczonych zadań, takich jak tury czatu, pojedyncze wywołania funkcji, klasyfikacja, ekstrakcja z akapitu lub dwóch oraz kroki agenta, w których każde żądanie jest małe, Qwen2.5 72B Instruct jest rozsądnym domyślnym wyborem i jest tańszy z tych dwóch na wejściu. Ceny wyjścia są w przybliżeniu takie same dla obu, więc różnica kosztów ujawnia się po stronie wejścia. Jeśli Twoje obciążenie to głównie krótkie polecenia, ta przewaga Qwen na wejściu się kumuluje; jeśli Twoje polecenia są długie, większe okno Llamy może uchronić Cię przed dzieleniem żądań, co może mieć większe znaczenie niż stawka za token.

Wywoływanie któregokolwiek z tych modeli przez api14 działa tak samo, ponieważ API jest zgodne z OpenAI. Kierujesz swojego istniejącego klienta OpenAI na bazowy URL api14, wysyłasz swój klucz i ustawiasz pole model. Aby użyć Llamy, ustaw identyfikator modelu na meta-llama/llama-3.1-70b-instruct. Aby użyć Qwen, ustaw go na qwen/qwen-2.5-72b-instruct. Wszystko inne w treści żądania, messages, temperature, max_tokens, tools, response_format i reszta, pozostaje bez zmian. Przełączanie między nimi to zmiana jednej linii, więc możesz porównać oba na własnych poleceniach i wybrać według trasy lub zadania bez przepisywania integracji.

Jest jeden przypadek, w którym Qwen2.5 72B Instruct nadal jest lepszym wyborem, nawet gdy kontekst nie jest ciasny: gdy koszt wejścia jest czynnikiem decydującym, a Twoje polecenia mieszczą się wygodnie w 32768 tokenów. W takiej sytuacji większe okno Llamy nie daje Ci niczego, czego użyjesz, a Qwen jest tańszą opcją wejściową. Odwrotnie, jeśli kiedykolwiek spodziewasz się przejścia na dłuższe dane wejściowe, Llama 3.1 70B Instruct daje Ci zapas bez drugiej migracji później.

Zmień jednym ciągiem znaków

Oba modele używają tego samego endpointu i tej samej struktury żądania. Zmień wartość model z "meta-llama/llama-3.1-70b-instruct" na "qwen/qwen-2.5-72b-instruct", prompty, streaming i narzędzia działają dalej.

Meta: Llama 3.1 70B Instruct: szczegóły i piaskownica →Qwen2.5 72B Instruct: szczegóły i piaskownica →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "qwen/qwen-2.5-72b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct kontra Qwen2.5 72B Instruct

Specyfikacja

Najważniejsze różnice

Szczegółowo

Zmień jednym ciągiem znaków

Więcej porównań