Amazon: Nova Lite 1.0

Amazon Nova Lite 1.0 adalah model pembuatan teks dari Amazon, dirilis pada 5 Desember 2024. Model ini berada dalam keluarga model Nova milik Amazon dan diposisikan sebagai opsi cepat dan berbiaya rendah untuk pekerjaan multimodal. Model ini diidentifikasi di api14 sebagai amazon/nova-lite-v1, dan Amazon adalah pengembang sekaligus penyedia di baliknya.

Model ini menerima input teks dan gambar serta menghasilkan output teks. Model ini memiliki context window 300.000 token, yang memungkinkan dokumen sangat panjang, percakapan panjang, atau kumpulan besar gambar dan teks ditangani dalam satu permintaan. Output maksimumnya adalah 5.120 token, sehingga respons tetap terbatas bahkan ketika inputnya besar. Knowledge cutoff-nya adalah 31 Oktober 2024, yang berarti model ini tidak memiliki informasi tentang peristiwa setelah tanggal tersebut kecuali informasi itu diberikan dalam prompt. Amazon menggambarkan model ini sebagai model yang berfokus pada pemrosesan cepat input gambar, video, dan teks untuk menghasilkan output teks, sehingga kecepatan pada input multimodal menjadi bagian utama dari desainnya.

Kemampuan tersebut mengarah pada beberapa penggunaan praktis. Karena model ini membaca gambar sekaligus teks, model ini cocok untuk tugas seperti mendeskripsikan atau merangkum konten gambar, mengekstrak informasi dari screenshot atau dokumen hasil pemindaian, dan menjawab pertanyaan yang bergantung pada campuran gambar dan instruksi tertulis. Context 300.000 token membuatnya layak untuk laporan panjang, riwayat chat yang panjang, atau kumpulan materi yang tidak akan muat dalam window yang lebih kecil. Batas output 5.120 token berarti model ini lebih cocok untuk ringkasan, jawaban, klasifikasi, dan bagian teks yang dihasilkan secara singkat daripada untuk menghasilkan dokumen yang sangat panjang dalam satu panggilan. Pengembang yang membangun asisten yang perlu melihat gambar dan membalas dalam teks, atau pipeline yang perlu memproses volume besar input campuran dengan cepat, adalah audiens yang natural.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id amazon/nova-lite-v1. Karena antarmukanya mengikuti format OpenAI, library klien OpenAI yang ada dan bentuk permintaan umumnya berfungsi hanya dengan mengganti nama model. Parameter permintaan yang didukung adalah max_tokens, stop, temperature, tools, top_k, dan top_p. Parameter tools berarti pemanggilan fungsi atau tool tersedia, sehingga model dapat digunakan dalam pengaturan bergaya agen di mana model memutuskan kapan harus memanggil fungsi eksternal. temperature, top_k, dan top_p memberikan kontrol atas sampling, sementara stop memungkinkan Anda menentukan urutan yang mengakhiri generasi dan max_tokens membatasi panjang respons.

Beberapa batasan perlu dipertimbangkan sebelum Anda memutuskan. Output dibatasi pada 5.120 token, jadi jika Anda memerlukan respons tunggal yang sangat panjang, model dengan batas output lebih tinggi mungkin lebih cocok. Knowledge cutoff 31 Oktober 2024 berarti pertanyaan tentang peristiwa setelahnya perlu menyertakan konteks yang relevan dalam prompt. Model ini hanya menghasilkan teks, sehingga tidak dapat menghasilkan gambar. Jika tugas Anda sepenuhnya teks dan tidak mendapat manfaat dari input gambar atau context yang sangat besar, model khusus teks yang lebih sederhana mungkin sudah cukup.