Mistral: Mistral Nemo

Mistral Nemo adalah model teks dari Mistral, dibangun bekerja sama dengan NVIDIA. Ini adalah model dengan 12B parameter, dan tanggal rilis penyedianya adalah 19 Juli 2024. Model ini multibahasa, mendukung bahasa Inggris, Prancis, Jerman, Spanyol, Italia, Portugis, Tionghoa, Jepang dan bahasa lainnya. Jika Anda memilih model untuk sebuah proyek, model ini berada di tier yang lebih kecil dan efisien dalam jajaran produk Mistral, bukan model unggulan terbesar.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output, jadi ini adalah model bahasa yang lugas tanpa penanganan gambar atau audio. Jendela konteksnya adalah 131072 token, yang cukup besar untuk menampung dokumen panjang, percakapan yang diperpanjang atau file kode berukuran besar dalam satu permintaan. Output maksimumnya adalah 16384 token, sehingga respons bisa panjang tetapi dibatasi jauh di bawah batas input. Batas pengetahuan (knowledge cutoff) nya adalah 30 April 2024, yang penting jika tugas Anda bergantung pada peristiwa atau informasi setelah tanggal tersebut.

Kemampuan tersebut mengarah pada beberapa penggunaan praktis. Konteks panjang cocok untuk meringkas atau mengekstrak informasi dari laporan panjang, kontrak dan transkrip, dan dukungan multibahasa membantu untuk terjemahan dan untuk aplikasi yang melayani pengguna dalam beberapa bahasa. Karena model ini hanya menerima dan mengembalikan teks, model ini cocok untuk asisten chat, tanya jawab atas dokumen yang disediakan, penyusunan draf dan penulisan ulang, klasifikasi dan tugas transformasi teks lainnya. Batas output 16384 token berarti dokumen yang dihasilkan sangat panjang mungkin perlu diproduksi dalam beberapa tahap.

Anda dapat memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "mistralai/mistral-nemo". Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs dan top_p. Kumpulan itu mencakup kontrol sampling, seeding deterministik, urutan stop, output terstruktur dan pemanggilan tool, sehingga Anda dapat membentuk gaya output maupun formatnya tanpa meninggalkan antarmuka standar.

Beberapa batasan perlu diingat. Input dan output hanya berupa teks, jadi tugas yang memerlukan analisis gambar atau audio membutuhkan model lain. Batas pengetahuan 30 April 2024 berarti model ini tidak memiliki kesadaran bawaan tentang peristiwa setelahnya, dan batas output 16384 token membatasi panjang respons tunggal. Jika beban kerja Anda bergantung pada salah satu hal ini, model lain mungkin lebih cocok.