Çerez kullanıyoruz. Çerezler ve tarayıcı depolaması oturumunu açık tutar ve tercihlerini hatırlar. İzin verirsen sitenin nasıl kullanıldığını da ölçeriz. İstediğin zaman . Ayrıntılar için çerez politikamıza bak.

Yeni misin? Nasıl çalıştığına bak Oyun alanı, modeller ve API anahtarın için 1 dakikalık tur.

Llama 3.1 70B Instruct vs Qwen2.5 72B Instruct: API fiyatı, bağlam ve özellikler · api14

Meta: Llama 3.1 70B Instruct karşı Qwen2.5 72B Instruct

Meta: Llama 3.1 70B Instruct ($2,52 / 1M token (≈ ₺126,19)) ve Qwen2.5 72B Instruct ($1,26 / 1M token (≈ ₺63,10)) modellerinin api14 kataloğundaki güncel USD fiyatları ve yetenekleriyle yan yana karşılaştırması. İkisi de aynı OpenAI uyumlu API üzerinden çalışır.

Teknik özellikler

	Meta: Llama 3.1 70B Instruct	Qwen2.5 72B Instruct
Sağlayıcı	Meta	Qwen
Girdi	$2,52 / 1M token (≈ ₺126,19)	$1,26 / 1M token (≈ ₺63,10)
Çıktı	$2,52 / 1M token (≈ ₺126,19)	$1,40 / 1M token (≈ ₺70,11)
Bağlam penceresi	131.072	32.768
Maks. çıktı	8.192	16.384
Girdi	text	text
Çıktı	text	text
Araç çağırma
Yapılandırılmış çıktı
Akıl yürütme kontrolü
Eklenme	23 Tem 2024	19 Eyl 2024

Temel farklar

Qwen2.5 72B Instruct girdi tokenlarında 50% daha ucuz.
Qwen2.5 72B Instruct çıktı tokenlarında 44% daha ucuz.
Meta: Llama 3.1 70B Instruct 4.0× daha fazla bağlam okur (131.072 token).
araç çağırma özelliğini yalnızca Qwen2.5 72B Instruct destekler.
yapılandırılmış JSON çıktısı özelliğini yalnızca Qwen2.5 72B Instruct destekler.
1.000 girdi ve 500 çıktı tokenlı bir istek Meta: Llama 3.1 70B Instruct ile $0,00378, Qwen2.5 72B Instruct ile $0,00196 tutar.

Ayrıntılı bakış

Meta: Llama 3.1 70B Instruct, Meta tarafından 2024-07-23 tarihinde yayımlanan bir metin modelidir. Qwen2.5 72B Instruct, Qwen tarafından 2024-09-19 tarihinde yayımlanan bir metin modelidir. Her ikisi de aynı kaba ağırlık sınıfında, kabaca yetmiş milyar parametrede yer alır ve her ikisi de sohbet ile genel asistan işleri için instruction tuned'dır. Hiçbiri küçük bir model değildir, bu yüzden her ikisi de ucuz ve yüksek hacimli bir iş atı yerine güçlü genel dil davranışı isteyen geliştiricilere yöneliktir.

En net fark bağlamdır. Llama 3.1 70B Instruct 131072 tokene kadar kabul eder, bu da Qwen2.5 72B Instruct'ın 32768 tokenlık penceresinin dört katıdır. Promptunuz uzun belgeler, büyük kod tabanları, uzun transkriptler veya çok sayıda getirilmiş parça içeriyorsa bu fark önemlidir ve girdiyi sığdıracak olan Llama'dır. Modalitelerde ikisi aynıdır: metin girer, metin çıkar, hiçbir tarafta görüntü veya ses işleme yoktur. Desteklenen parametre listeleri de tam olarak eşleşir, yani her ikisi de temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format, structured_outputs, tools ve tool_choice sunar. Bu listede birinin sahip olup diğerinin yoksun olduğu bir yetenek yoktur, bu yüzden seçim özellik desteğine bakmaz.

Pratik seçim için girdi boyutundan başlayın. Uzun bağlam getirimi, tüm dosya incelemesi, çok belgeli özetleme ve aksi halde agresif biçimde parçalayacağınız her şey Llama 3.1 70B Instruct'a işaret eder, çünkü pencere daha büyüktür. Sohbet turları, tek fonksiyon çağrıları, sınıflandırma, bir veya iki paragraftan çıkarım ve her isteğin küçük olduğu ajan adımları gibi daha kısa, iyi kapsanmış görevler için Qwen2.5 72B Instruct makul bir varsayılandır ve girdide ikisinden daha ucuz olanıdır. Çıktı fiyatlandırması her ikisi için yaklaşık aynıdır, bu yüzden maliyet farkı girdi tarafında görünür. İş yükünüz çoğunlukla kısa promptlardan oluşuyorsa Qwen'in bu girdi avantajı birikir; promptlarınız uzunsa Llama'nın daha büyük penceresi istekleri hiç bölmekten kurtarabilir, bu da token başına ücretten daha önemli olabilir.

Her iki modeli api14 üzerinden çağırmak aynı şekilde çalışır, çünkü API OpenAI uyumludur. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin, anahtarınızı gönderin ve model alanını ayarlayın. Llama'yı kullanmak için model id'sini meta-llama/llama-3.1-70b-instruct olarak ayarlayın. Qwen'i kullanmak için qwen/qwen-2.5-72b-instruct olarak ayarlayın. İstek gövdesindeki diğer her şey, messages, temperature, max_tokens, tools, response_format ve geri kalanı olduğu gibi kalır. İkisi arasında geçiş yapmak tek satırlık bir değişikliktir, böylece entegrasyonunuzu yeniden yazmadan her ikisini kendi promptlarınızla karşılaştırabilir ve rota veya görev başına seçim yapabilirsiniz.

Bağlam sıkı olmadığında bile Qwen2.5 72B Instruct'ın yine de daha iyi seçim olduğu bir durum vardır: girdi maliyeti belirleyici faktör olduğunda ve promptlarınız 32768 tokenın içine rahatça sığdığında. Bu durumda Llama'nın daha büyük penceresi size kullanmayacağınız bir şey kazandırmaz ve Qwen daha ucuz girdi seçeneğidir. Tersine, bir gün daha uzun girdilere geçeceğinizi düşünüyorsanız, Llama 3.1 70B Instruct size daha sonra ikinci bir geçiş yapmadan alan sağlar.

Tek bir metinle geçiş yap

İki model de aynı uç noktayı ve istek yapısını kullanır. model değerini "meta-llama/llama-3.1-70b-instruct" yerine "qwen/qwen-2.5-72b-instruct" yap, istemler, akış ve araçlar çalışmaya devam eder.

Meta: Llama 3.1 70B Instruct ayrıntıları ve oyun alanı →Qwen2.5 72B Instruct ayrıntıları ve oyun alanı →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "qwen/qwen-2.5-72b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct karşı Qwen2.5 72B Instruct

Teknik özellikler

Temel farklar

Ayrıntılı bakış

Tek bir metinle geçiş yap

Diğer karşılaştırmalar