IBM: Granite 4.0 Micro

IBM Granite 4.0 Micro, yang terdaftar di api14 sebagai ibm-granite/granite-4.0-h-micro, adalah model teks dari keluarga Granite 4 milik IBM. Ini adalah model dengan 3B parameter, dan IBM menggambarkan keluarga Granite 4 sebagai yang terbaru dalam serangkaian model yang telah dirilis perusahaan. Varian khusus ini adalah anggota H-Micro dari keluarga tersebut, dan IBM menyatakan bahwa keluarga ini disetel halus untuk tugas-tugas panjang, yang menjadikan ukuran Micro sebagai titik masuk yang mudah diakses ke lini Granite 4 bagi tim yang menginginkan generasi terbaru IBM tanpa beralih ke model yang lebih besar.

Model ini bekerja dengan input teks dan hanya menghasilkan output teks; model ini tidak menerima gambar atau audio, dan tidak menghasilkan apa pun selain teks. Jendela konteksnya adalah 131.000 token, dan output maksimumnya adalah 117.900 token. Kombinasi konteks yang besar dan alokasi output yang sangat besar berarti Anda dapat mengirim dokumen panjang dalam satu permintaan dan masih menyisakan ruang substansial untuk balasan model, yang tidak biasa untuk model sebesar ini.

Kegunaan praktisnya mengikuti angka-angka tersebut. Meringkas laporan panjang, kontrak, atau transkrip dapat ditampung dengan nyaman di dalam jendela konteks. Ekstraksi dan generasi terstruktur juga sangat cocok, karena model ini mendukung response_format dan batas output yang panjang memungkinkannya mengeluarkan objek JSON besar atau dokumen multi-bagian dalam satu panggilan. Karena batas outputnya cukup besar relatif terhadap jendela input, tugas-tugas di mana jawabannya sendiri panjang, seperti menulis ulang, memperluas, atau menyusun bagian panjang dari materi sumber, menjadi layak. Obrolan umum, klasifikasi, pemberian tag, dan agen ringan atas data teks juga merupakan titik awal yang wajar.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model ibm-granite/granite-4.0-h-micro, sehingga SDK dan klien OpenAI yang ada dapat bekerja hanya dengan perubahan base URL dan key. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, temperature, top_k, top_logprobs dan top_p. Kumpulan ini mencakup kontrol sampling (temperature, top_p, top_k, min_p), penanganan pengulangan (frequency_penalty, presence_penalty, repetition_penalty), percobaan ulang deterministik melalui seed, output terstruktur melalui response_format, dan inspeksi tingkat token melalui logprobs dan top_logprobs.

Tidak ada batasan yang dinyatakan selain input dan output hanya teks, dan perlu dicatat bahwa ini adalah model dengan 3B parameter, jadi jika Anda memerlukan visi, audio, atau model yang jauh lebih besar, opsi lain di api14 mungkin lebih cocok. Jika tidak, untuk pekerjaan teks dengan konteks panjang dan batas output yang tinggi, ada baiknya mengujinya secara langsung.