Çerez kullanıyoruz. Çerezler ve tarayıcı depolaması oturumunu açık tutar ve tercihlerini hatırlar. İzin verirsen sitenin nasıl kullanıldığını da ölçeriz. İstediğin zaman . Ayrıntılar için çerez politikamıza bak.

Yeni misin? Nasıl çalıştığına bak Oyun alanı, modeller ve API anahtarın için 1 dakikalık tur.

Llama 3.1 70B Instruct vs UnslopNemo 12B: API fiyatı, bağlam ve özellikler · api14

Meta: Llama 3.1 70B Instruct karşı TheDrummer: UnslopNemo 12B

Meta: Llama 3.1 70B Instruct ($2,52 / 1M token (≈ ₺126,19)) ve TheDrummer: UnslopNemo 12B ($1,40 / 1M token (≈ ₺70,11)) modellerinin api14 kataloğundaki güncel USD fiyatları ve yetenekleriyle yan yana karşılaştırması. İkisi de aynı OpenAI uyumlu API üzerinden çalışır.

Teknik özellikler

	Meta: Llama 3.1 70B Instruct	TheDrummer: UnslopNemo 12B
Sağlayıcı	Meta	TheDrummer
Girdi	$2,52 / 1M token (≈ ₺126,19)	$1,40 / 1M token (≈ ₺70,11)
Çıktı	$2,52 / 1M token (≈ ₺126,19)	$1,40 / 1M token (≈ ₺70,11)
Bağlam penceresi	131.072	1.024.000
Maks. çıktı	8.192	819.200
Girdi	text	text
Çıktı	text	text
Araç çağırma
Yapılandırılmış çıktı
Akıl yürütme kontrolü
Eklenme	23 Tem 2024	8 Kas 2024

Temel farklar

TheDrummer: UnslopNemo 12B girdi tokenlarında 44% daha ucuz.
TheDrummer: UnslopNemo 12B çıktı tokenlarında 44% daha ucuz.
TheDrummer: UnslopNemo 12B 7.8× daha fazla bağlam okur (1.024.000 token).
yapılandırılmış JSON çıktısı özelliğini yalnızca TheDrummer: UnslopNemo 12B destekler.
1.000 girdi ve 500 çıktı tokenlı bir istek Meta: Llama 3.1 70B Instruct ile $0,00378, TheDrummer: UnslopNemo 12B ile $0,00210 tutar.

Ayrıntılı bakış

Meta: Llama 3.1 70B Instruct, Meta tarafından 2024-07-23 tarihinde yayımlanan bir metin modelidir. TheDrummer: UnslopNemo 12B, TheDrummer tarafından 2024-11-08 tarihinde yayımlanan bir metin modelidir. Her ikisi de api14 üzerinden sohbet tamamlama modeli olarak sunulur ve her ikisi de metin alıp metin döndürür, yani hiçbiri görüntü veya ses işlemez. Adlandırma, bir bakışta ihtiyacınız olan şeyin çoğunu size söyler: biri büyük bir laboratuvardan gelen 70B genel amaçlı talimatla ince ayarlanmış bir model, diğeri belirli bir çıktı stiline yönelik 12B topluluk ince ayarıdır.

En net teknik fark bağlam uzunluğudur. UnslopNemo 12B 1.024.000 tokene kadar kabul eder, Llama 3.1 70B Instruct ise 131.072 tokene kadar kabul eder. İstemciniz veya getirilen belge kümeniz çok büyükse, parçalama yapmadan bunu sığdıracak olan UnslopNemo'dur. Diğer anlamlı fark araçlardır. Llama 3.1 70B Instruct tools ve tool_choice destekler, böylece işlev çağrısını ve ajan tarzı döngüleri doğrudan yürütebilir. UnslopNemo 12B bu parametreleri listelemez, bu nedenle yapılandırılmış araç çağrıları yayması için modelin kendisine ihtiyaç duyduğunuzda başvuracağınız model değildir. Fiyatta ikisi yaklaşık aynıdır, bu nedenle maliyet burada belirleyici faktör değildir. Her ikisi de structured_outputs, temperature, top_p, top_k, repetition_penalty, presence_penalty, frequency_penalty, logit_bias, seed ve stop destekler, böylece örnekleme ve çıktı şekillendirme her iki tarafta da aynı şekilde çalışır.

Günlük işler için, görevin gerçekte neye ihtiyaç duyduğuna göre seçim yapın. Bir ajan, işlev çağırması gereken bir getirme hattı veya modelin hangi aracı çağıracağına karar vermesi gereken herhangi bir şey oluşturuyorsanız, Llama 3.1 70B Instruct doğal seçimdir çünkü ikisi arasında araç desteği olan tek modeldir. Uzun belge özetleme yapıyorsanız, büyük bir kod tabanını veya transkripti tek bir isteğe sığdırıyorsanız ya da çok büyük bir pencereye sahip daha hafif bir model istediğiniz yaratıcı ve konuşma odaklı yazım üzerinde çalışıyorsanız, UnslopNemo 12B daha iyi uyar. Girdinin 131.072 token içinde rahatça sığdığı ve araçların dahil olmadığı düz talimat takibi, sınıflandırma, çıkarım veya yeniden yazma için her iki model de işi yapar ve yetenek yerine çıktı stiline göre seçim yapabilirsiniz.

Her iki modeli api14 üzerinden çağırmak aynı şekilde çalışır, çünkü API OpenAI uyumludur. İstemcinizi api14 temel URL'sine yönlendirir, messages dizinizle normal bir sohbet tamamlama isteği gönderir ve model alanını ayarlarsınız. Llama 3.1 70B Instruct kullanmak için modeli meta-llama/llama-3.1-70b-instruct olarak ayarlayın. UnslopNemo 12B kullanmak için modeli thedrummer/unslopnemo-12b olarak ayarlayın. İstek gövdesindeki diğer her şey, temperature, max_tokens, stop ve structured_outputs dahil, olduğu gibi kalır. İkisi arasında geçiş yapmak tek satırlık bir değişikliktir, böylece her ikisini bir yapılandırma değerinin arkasında tutabilir ve entegrasyonunuzu yeniden yazmadan istek başına yönlendirme yapabilirsiniz.

Tek bir metinle geçiş yap

İki model de aynı uç noktayı ve istek yapısını kullanır. model değerini "meta-llama/llama-3.1-70b-instruct" yerine "thedrummer/unslopnemo-12b" yap, istemler, akış ve araçlar çalışmaya devam eder.

Meta: Llama 3.1 70B Instruct ayrıntıları ve oyun alanı →TheDrummer: UnslopNemo 12B ayrıntıları ve oyun alanı →

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api14.com/api/v1",
  apiKey: process.env.API14_API_KEY,
});

const result = await client.chat.completions.create({
  "model": "thedrummer/unslopnemo-12b",
  "messages": [
    {
      "role": "user",
      "content": "Explain vector databases in two sentences."
    }
  ]
});
console.log(result.choices[0].message.content);

Meta: Llama 3.1 70B Instruct karşı TheDrummer: UnslopNemo 12B

Teknik özellikler

Temel farklar

Ayrıntılı bakış

Tek bir metinle geçiş yap

Diğer karşılaştırmalar