Amazon: Nova Micro 1.0

Amazon Nova Micro 1.0 adalah model khusus teks dari Amazon, bagian dari keluarga model Nova. Amazon merilisnya pada 5 Desember 2024, dan model ini diposisikan sebagai opsi dengan latensi terendah di keluarga tersebut. Model ini ditujukan untuk pengembang yang membutuhkan respons teks cepat daripada input atau output multimodal, karena modalitas input dan outputnya keduanya berupa teks.

Model ini menerima prompt teks dan mengembalikan penyelesaian teks. Model ini memiliki context window sebesar 128.000 token, yang cukup untuk menampung dokumen panjang, percakapan panjang, atau kumpulan besar materi referensi dalam satu permintaan. Output maksimumnya adalah 5.120 token, sehingga respons dibatasi pada panjang tersebut tidak peduli berapa banyak input yang Anda kirim. Knowledge cutoff-nya adalah 31 Oktober 2024, yang berarti apa pun setelah tanggal itu berada di luar apa yang dipelajari model selama pelatihan. Tidak ada dukungan gambar, audio, atau video di kedua arah.

Karena hanya teks dan disetel untuk latensi rendah, Nova Micro 1.0 cocok untuk pekerjaan yang mengutamakan kecepatan daripada penalaran mendalam. Penggunaan umum meliputi asisten chat dan bot dukungan pelanggan yang membutuhkan balasan cepat, klasifikasi dan perutean teks masuk, peringkasan dokumen panjang yang muat di dalam context window, ekstraksi bidang terstruktur dari teks tidak terstruktur, dan pembuatan konten ringan. Kombinasi context 128.000 token dan batas output 5.120 token juga cocok untuk retrieval augmented generation, di mana Anda menempelkan bagian yang diambil ke dalam prompt dan meminta jawaban singkat yang berdasar. Tool calling tersedia, sehingga model dapat menjalankan pemanggilan fungsi dalam alur kerja bergaya agen di mana model memutuskan tool mana yang akan dipanggil.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "amazon/nova-micro-v1". Karena antarmukanya mengikuti bentuk chat completions OpenAI, Anda dapat mengarahkan klien OpenAI yang sudah ada ke base URL api14 dan mengubah kolom model, tanpa perubahan struktural lain pada permintaan Anda. Parameter permintaan yang didukung adalah max_tokens, stop, temperature, tools, top_k, dan top_p. Gunakan max_tokens untuk membatasi panjang respons dalam batas output 5.120 token, stop untuk menghentikan generasi pada urutan yang dipilih, temperature bersama top_p atau top_k untuk mengontrol keacakan sampling, dan tools untuk mendeklarasikan fungsi yang mungkin dipanggil model.

Pertimbangkan batasannya saat memilih model ini. Model ini hanya menangani teks, jadi tugas yang melibatkan gambar atau audio memerlukan model lain. Batas output 5.120 token menyingkirkan respons tunggal yang sangat panjang, dan knowledge cutoff Oktober 2024 berarti peristiwa terbaru tidak tercakup kecuali Anda menyediakannya di dalam prompt. Jika suatu tugas bergantung pada penalaran yang lebih berat atau input multimodal, model lain di katalog kemungkinan lebih cocok.