Meta: Llama 3.3 70B Instruct

Meta: Llama 3.3 70B Instruct, Meta tarafından 6 Aralık 2024 tarihinde yayımlanan bir metin üretim modelidir. Meta'nın 70B parametrede hem ön eğitimini hem de talimat ayarını yaptığı çok dilli büyük dil modeli olan Llama 3.3 ailesine aittir. Talimat ayarlı varyant yalnızca metin içindir, yani çok kipli girdi yerine istem odaklı görevler için tasarlanmıştır.

Model metin alır ve metin döndürür; bağlam penceresi 131.072 token, maksimum çıktısı 16.384 tokendir. Bilgi kesim tarihi 31 Aralık 2023'tür, dolayısıyla bu tarihten sonraki her şey eğitim sırasında öğrendiklerinin dışında kalır. Talimat ayarlı olduğu için bir istemdeki yönergeleri makul ölçüde doğrudan izler, bu da örnek vermek yerine ne istediğinizi tanımladığınız görevler için uygun olmasını sağlar.

Bu yetenekler oldukça geniş bir pratik kullanım kümesine işaret eder. Uzun belgeleri özetleme veya sorgulama gibi uzun bağlam işleri 131.072 tokenlık pencereye uyar ve 16.384 tokenlık çıktı tavanı kısa bir yanıtın çok ötesine geçen yanıtları destekler. Çok dilli üretim ve sohbet tarzı asistanlar, modelin çok dilli eğitimi göz önüne alındığında doğal uyumlardır. Talimat izleme ayrıca, girdinin metin ve çıktının metin olduğu çıkarım, yeniden yazma, sınıflandırma ve benzeri dönüşüm görevleri için onu makul bir seçim haline getirir.

Modele api14'ün OpenAI uyumlu API'si üzerinden "meta-llama/llama-3.3-70b-instruct" model id'sini kullanarak erişirsiniz. Uç nokta olağan sohbet tarzı istek biçimini kabul eder ve model geniş bir parametre kümesini destekler: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs ve top_p. Araç çağırma ve yapılandırılmış çıktıların ikisi de mevcuttur, dolayısıyla fonksiyon çağırma ve şema kısıtlı yanıtlar geçici çözümler değil seçeneklerdir.

Bu modeli seçerken akılda tutulmaya değer iki sınır vardır. Yalnızca metin kabul eder, dolayısıyla görüntü, ses veya diğer metin dışı girdiler kapsam dışıdır ve bilgisi 2023'ün sonunda durur; bu da bağlamı kendiniz sağlamadığınız sürece yakın tarihli olaylarla ilgili sorular için önemlidir. Göreviniz bu şeylere bağlıysa, ilgili girdi kipliğine sahip bir model veya daha güncel bir kesim tarihi olan bir model daha iyi uyum sağlar.