IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, api14 üzerinde ibm-granite/granite-4.0-h-micro olarak listelenir ve IBM'in Granite 4 ailesinden bir metin modelidir. 3B parametreli bir modeldir ve IBM, Granite 4 ailesini şirketin yayımladığı bir dizi modelin en yenisi olarak tanımlar. Bu özel varyant, o ailenin H-Micro üyesidir ve IBM, ailenin uzun görevler için ince ayarlandığını belirtir; bu da Micro boyutunu, daha büyük bir modele geçmeden IBM'in daha yeni neslini isteyen ekipler için Granite 4 hattına erişilebilir bir giriş noktası yapar.

Model metin girdisiyle çalışır ve yalnızca metin çıktısı üretir; görüntü veya ses kabul etmez ve metin dışında hiçbir şey üretmez. Bağlam penceresi 131.000 tokendır ve maksimum çıktı 117.900 tokendır. Büyük bir bağlam ile çok büyük bir çıktı izninin bu birleşimi, tek bir istekte uzun belgeler gönderebileceğiniz ve yine de modelin yanıtı için önemli ölçüde yer bırakabileceğiniz anlamına gelir; bu, bu boyuttaki bir model için alışılmadıktır.

Pratik kullanımlar bu sayılardan doğar. Uzun raporları, sözleşmeleri veya transkriptleri özetlemek bağlam penceresine rahatça sığar. Çıkarım ve yapılandırılmış üretim de doğal bir uyumdur, çünkü model response_format destekler ve uzun bir çıktı tavanı, tek bir çağrıda büyük JSON nesneleri veya çok bölümlü belgeler üretmesine olanak tanır. Çıktı sınırı girdi penceresine göre cömert olduğundan, yanıtın kendisinin uzun olduğu görevler, örneğin yeniden yazma, genişletme veya kaynak materyalden uzun pasajlar taslak haline getirme, uygulanabilir. Genel sohbet, sınıflandırma, etiketleme ve metin verileri üzerinde hafif ajanlar da makul başlangıç noktalarıdır.

Modeli api14'ün OpenAI uyumlu API'si üzerinden ibm-granite/granite-4.0-h-micro model id'siyle çağırırsınız, böylece mevcut OpenAI SDK'ları ve istemcileri yalnızca bir base URL ve anahtar değişikliğiyle çalışır. Desteklenen istek parametreleri frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs ve top_p'dir. Bu küme örnekleme kontrolünü (temperature, top_p, top_k, min_p), tekrar işlemeyi (frequency_penalty, presence_penalty, repetition_penalty), seed aracılığıyla deterministik yeniden denemeleri, response_format aracılığıyla yapılandırılmış çıktıyı ve logprobs ile top_logprobs aracılığıyla token düzeyinde incelemeyi kapsar.

Yalnızca metin girdisi ve çıktısı dışında belirtilmiş bir sınırlama yoktur ve bunun 3B parametreli bir model olduğunu belirtmek gerekir; dolayısıyla görüntü, ses veya çok daha büyük bir modele ihtiyacınız varsa api14 üzerindeki farklı bir seçenek daha uygun olabilir. Aksi halde, yüksek çıktı tavanıyla uzun bağlamlı metin işleri için doğrudan test etmeye değer.