Google: Gemma 2 27B

Google Gemma 2 27B adalah model teks terbuka dari Google, dibangun dari riset dan teknologi yang sama yang digunakan untuk membuat model Gemini. Model ini berada dalam keluarga Gemma 2 dan, dengan 27B parameter, merupakan varian terbesar dalam lini tersebut. Model ini dirilis oleh penyedia pada 13 Juli 2024, dan batas pengetahuan (knowledge cutoff) nya adalah 30 Juni 2024, sehingga apa pun setelah tanggal itu berada di luar apa yang dipelajarinya selama pelatihan.

Model ini adalah model text in, text out. Context window nya adalah 8192 token, dan output maksimumnya adalah 2048 token. Kombinasi itu membentuk cara Anda merencanakan prompt: dokumen panjang, file kode besar, atau riwayat chat yang panjang perlu muat di dalam anggaran 8192 token bersama instruksi Anda, dan balasannya sendiri dibatasi pada 2048 token. Tidak ada modalitas input gambar, audio, atau lainnya di sini, jadi semua yang Anda kirim harus berupa teks biasa.

Kegunaan praktisnya mengikuti profil tersebut. Model ini bekerja baik untuk asisten chat, tanya jawab atas materi yang Anda tempelkan ke dalam prompt, peringkasan artikel atau laporan yang muat dalam context window, penyusunan draf dan penulisan ulang, tugas klasifikasi dan ekstraksi, serta penjelasan atau pembuatan kode dalam batas output. Karena ini adalah model yang diinstruction tune, model ini merespons deskripsi tugas secara langsung tanpa perlu contoh few shot untuk setiap permintaan. Dukungan structured outputs juga membuatnya menjadi pilihan yang wajar ketika Anda membutuhkan balasan yang sesuai dengan skema, misalnya mengekstrak field dari tiket dukungan atau deskripsi produk ke dalam JSON.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "google/gemma-2-27b-it". Karena antarmukanya mengikuti bentuk chat completions OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke api14 dan mengubah string modelnya. Parameter permintaan yang didukung adalah frequency_penalty, max_tokens, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, dan top_p. Dalam praktiknya Anda akan mengatur temperature dan top_p untuk mengendalikan sampling, menggunakan max_tokens untuk membatasi balasan dalam batas output 2048, menerapkan stop sequences untuk mengakhiri generasi dengan bersih, dan menggunakan seed ketika Anda menginginkan hasil yang dapat diulang. Parameter penalty membantu mengurangi frasa yang berulang, dan response_format bersama structured_outputs mencakup kasus ketika output harus mengikuti struktur yang telah ditentukan.

Batasan utama yang perlu dipertimbangkan adalah context window. Pada 8192 token, ukurannya lebih kecil daripada yang ditawarkan banyak model saat ini, sehingga beban kerja yang bergantung pada dokumen yang sangat panjang, repositori besar, atau percakapan yang berjalan lama mungkin memerlukan chunking, retrieval, atau model dengan window yang lebih besar. Batas output 2048 token juga menyingkirkan balasan tunggal yang sangat panjang. Jika tugas Anda muat dalam batasan tersebut dan Anda menginginkan model Google terbuka dengan kemampuan mengikuti instruksi serta dukungan structured output, Gemma 2 27B adalah pilihan yang mudah untuk diuji melalui permukaan API yang sama yang sudah Anda gunakan.