Meta: Llama 3.1 8B Instruct

Meta: Llama 3.1 8B Instruct, Meta tarafından geliştirilen, talimatlara göre ince ayarlanmış bir metin modelidir ve Temmuz 2024'te kullanıma sunulan Llama 3.1 ailesinin bir parçasıdır. 8B boyutu bu ailenin daha küçük ucunda yer alır, bu da çok daha büyük bir modelin ağırlığı olmadan yetenekli, genel amaçlı bir asistan istediğinizde makul bir varsayılan seçenek olmasını sağlar. Yalnızca metinle çalışan bir modeldir, bu nedenle görüntü veya ses içeren görevlerden ziyade sohbet, taslak yazma, çıkarım ve benzeri dil görevleri için uygundur.

Model metin alır ve metin döndürür. 131.072 token'lık bir bağlam penceresini destekler, bu da uzun belgeleri, genişletilmiş konuşmaları veya büyük kod dosyalarını tek bir istekte tutmak için yeterince büyüktür. Maksimum çıktı 117.964 token'dır, bu nedenle bu pencere içinde uzun üretimler mümkündür. Bilgi kesim tarihi 2023-12-31'dir, yani bu tarihten sonraki olaylar ve bilgiler eğitim verilerinin parçası değildir. Doğruluğun güncel gerçeklere bağlı olduğu durumlarda, modelin belleğine güvenmek yerine ilgili bağlamı kendiniz sağlamalısınız.

Bu özellikler birkaç pratik kullanıma işaret eder. Uzun girdiler üzerinde özetleme ve soru yanıtlama, büyük bağlam penceresine iyi uyar. Talimat takibi, onu sohbet asistanları, yeniden yazma, sınıflandırma ve dağınık metinden yapılandırılmış veri çıkarımı için uygun kılar. Araçları ve yapılandırılmış çıktıları kabul ettiği için, işlevleri çağıran veya JSON döndüren bir işlem hattında akıl yürütme adımı olarak da hizmet edebilir. 8B boyutu gecikmeyi ve kaynak kullanımını görece düşük tutar, bu da çok sayıda istek çalıştırırken veya daha büyük bir modele karar vermeden önce bir fikri prototiplendirirken yardımcı olur.

Modeli meta-llama/llama-3.1-8b-instruct model id'sini kullanarak api14'ün OpenAI uyumlu API'si üzerinden çağırabilirsiniz. Mevcut OpenAI istemcinizi api14 temel URL'sine yönlendirin ve model alanında bu id'yi geçirin. Model frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs ve top_p parametrelerini kabul eder. Bu, olağan örnekleme kontrollerinin yanı sıra araç çağırma, yapılandırılmış çıktılar ve seed aracılığıyla tekrarlanabilir çalıştırmaları kapsar.

Dikkate alınması gereken bir nokta, bilgi kesim tarihi ve modelin boyutudur. Göreviniz 2023-12-31'den sonraki gerçeklere ihtiyaç duyuyorsa, bunları istemde veya erişim yoluyla sağlamayı planlayın. Görüntü veya ses girdisine ihtiyacınız varsa, bu model bunu kabul etmez ve çok modlu bir model daha uygun olur. En zorlu akıl yürütme veya en yüksek üretim kalitesi için, aynı ailedeki daha büyük bir model size daha uygun olabilir; bu 8B sürümü ise yüksek hacimli, daha düşük karmaşıklıktaki işler için sağlam bir seçenek olarak kalır.