Çerez kullanıyoruz. Çerezler ve tarayıcı depolaması oturumunu açık tutar ve tercihlerini hatırlar. İzin verirsen sitenin nasıl kullanıldığını da ölçeriz. İstediğin zaman . Ayrıntılar için çerez politikamıza bak.
Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instructMeta: Llama 3.1 70B Instruct modelini şimdi dene
Yukarıdaki fiyatlarla bakiyenden çalışır. Yeni hesaplar ücretsiz kullanımla başlar.
Tek API. Tüm modeller.
Oturum maliyeti $0,00
Ayarlar
Gelişmiş parametreler
Meta: Llama 3.1 70B Instruct bir bakışta
- Girdi fiyatı, 434 Metin modelinin medyanından 11% daha düşük.
- 131.072 token bağlam penceresi, uzun belgeler ve çok turlu konuşmalar için yeterli.
- Ajanlar ve entegrasyonlar için araç (fonksiyon) çağırmayı destekler.
- Şemayla yapılandırılmış JSON çıktısını destekler.
- Tipik bir istek (1,000 girdi / 500 çıktı tokenı) yaklaşık $0,00210 tutar.
Meta: Llama 3.1 70B Instruct hakkında
Meta: Llama 3.1 70B Instruct, Meta tarafından geliştirilen ve 23 Temmuz 2024 tarihinde piyasaya sürülen Llama 3.1 ailesinin bir parçası olan bir metin üretim modelidir. 70 milyar parametreli sürümdür ve talimat izleme (instruction following) için ince ayarlanmıştır, yani yalnızca ham metni sürdürmek yerine komutlara yanıt vermek ve diyalog yürütmek üzere tasarlanmıştır. Meta, bu instruct varyantını yüksek kaliteli diyalog kullanım durumları için optimize edilmiş olarak konumlandırmaktadır ve boyut açısından Llama 3.1 aralığının ortasında yer alır.
Model girdi olarak metin kabul eder ve çıktı olarak metin döndürür, dolayısıyla görüntü, ses veya video işleme yeteneği olmayan saf bir dil modelidir. Bağlam penceresi 131.072 token'dır ve bu, tek bir istekte uzun belgeleri, genişletilmiş konuşmaları veya büyük kod dosyalarını tutmak için yeterince büyüktür. Maksimum çıktı uzunluğu 16.384 token'dır, bu nedenle yanıtlar önemli ölçüde büyük olabilir ancak girdi sınırının oldukça altında sınırlandırılmıştır. Bilgi kesim tarihi 31 Aralık 2023'tür, yani bu tarihten sonraki her şey eğitim sırasında öğrendiklerinin dışındadır.
Bu özellikler oldukça net bir dizi pratik kullanıma işaret eder. Uzun bağlam, uzun belgeler üzerinde özetleme ve soru yanıtlama, sözleşme incelemesi, araştırma sentezi ve konuşmanın önceki bölümlerinin görünür kalması gereken çok turlu sohbet için uygundur. Talimat ince ayarı, modeli asistanlar, taslak hazırlama, yeniden yazma, sınıflandırma ve çıkarım görevleri için makul bir uygun hale getirir. Model araç çağırmayı ve yapılandırılmış çıktıları desteklediğinden, modelin yalnızca serbest metin üretmek yerine tanımlanmış bir biçimde veri döndürmesi veya harici işlevleri çağırması gereken iş akışlarında da kullanılabilir.
Modeli api14'ün OpenAI uyumlu API'si aracılığıyla meta-llama/llama-3.1-70b-instruct model id'sini kullanarak çağırırsınız. Arayüz OpenAI şemasını izlediğinden, mevcut bir OpenAI istemcisini api14'ün temel URL'sine yönlendirebilir ve model alanında bu id'yi iletebilirsiniz. Desteklediği istek parametreleri frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k ve top_p'dir. Bu, olağan örnekleme kontrollerini, seed aracılığıyla deterministik çıktıyı, durdurma dizilerini ve hem araç çağırma hem de yapılandırılmış çıktı modlarını kapsar.
Karar verirken akılda tutulmaya değer birkaç sınır vardır. Bağlam penceresi çok daha büyük olsa da çıktı 16.384 token ile sınırlandırılmıştır, bu nedenle çok uzun tek yanıtlar gerektiren görevler bölmeyi veya farklı bir modeli gerektirebilir. 31 Aralık 2023 bilgi kesim tarihi, istemde sağlamadığınız sürece son olayların kapsanmadığı anlamına gelir. Girdi ve çıktı yalnızca metin olduğundan, görüntü veya ses içeren her şey bu modelin yapabileceklerinin dışında kalır.
Meta: Llama 3.1 70B Instruct API nasıl çağrılır
- Panelinde bir API anahtarı oluştur.
- Dilin için resmi openai SDK’sını kur.
- baseURL’i https://api14.com/api/v1, model’i "meta-llama/llama-3.1-70b-instruct" olarak ayarla.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api14.com/api/v1",
apiKey: process.env.API14_API_KEY,
});
const result = await client.chat.completions.create({
"model": "meta-llama/llama-3.1-70b-instruct",
"messages": [
{
"role": "user",
"content": "Explain vector databases in two sentences."
}
]
});
console.log(result.choices[0].message.content);
Desteklenen parametreler
frequency_penaltylogit_biasmax_tokensmin_ppresence_penaltyrepetition_penaltyresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_ktop_pÖzellikler
- Bağlam uzunluğu
- 131.072
- Maks. çıktı
- 16.384
- Girdi
- text
- Çıktı
- text
- Bilgi kesim tarihi
- 2023-12-31
api14 üzerindeki istekler · son 7 gün
Meta: Llama 3.1 70B Instruct: sıkça sorulan sorular
- Meta: Llama 3.1 70B Instruct API ne kadar tutar?
- Meta: Llama 3.1 70B Instruct Girdi $1,40 / 1M token tutar. Yalnızca başarılı istekler için USD bakiyenden düşülür; başarısız istekler ücretsizdir.
- Meta: Llama 3.1 70B Instruct modelinin bağlam penceresi ne kadar?
- Meta: Llama 3.1 70B Instruct istek başına 131.072 tokena kadar okur, istem, geçmiş ve belgeler dahil. Yanıt başına 16.384 çıktı tokenına kadar yazar.
- Meta: Llama 3.1 70B Instruct neler yapabilir?
- Meta: Llama 3.1 70B Instruct girdi olarak text kabul eder, çıktı olarak text döndürür. Desteklediği özellikler: araç çağırma, yapılandırılmış JSON çıktısı.
- Meta: Llama 3.1 70B Instruct modelini kodumdan nasıl çağırırım?
- Herhangi bir OpenAI SDK’sını https://api14.com/api/v1 adresine yönlendir ve model’i "meta-llama/llama-3.1-70b-instruct" olarak ayarla, başka kod değişikliği gerekmez. Bu sayfadaki kod panelinden hazır bir örnek kopyala.
- Meta: Llama 3.1 70B Instruct alternatifleri neler?
- Benzer fiyatlı Metin modelleri: TheDrummer: Cydonia 24B V4.1, Mistral: Saba, TheDrummer: UnslopNemo 12B. Hepsi aynı API anahtarıyla çalışır; geçiş yapmak için tek bir metni değiştirmen yeterli.
Meta: Llama 3.1 70B Instruct topluluğu
Yeni konuBu toplulukta henüz konu yok. Meta: Llama 3.1 70B Instruct hakkında ilk konuyu sen aç.