Mistral Large

Mistral Large adalah model pembuatan teks dari Mistral, yang diposisikan oleh penyedia sebagai model unggulannya. Versi yang dilayani di sini adalah Mistral Large 2 (mistral-large-2407), model dengan bobot kepemilikan yang tersedia yang digambarkan Mistral kuat dalam penalaran, kode, JSON dan obrolan. Model ini dirilis oleh penyedia pada 26 Februari 2024, dan batas pengetahuan adalah 30 November 2024, sehingga apa pun yang terjadi setelah tanggal itu berada di luar apa yang dipelajari model selama pelatihan.

Model ini menerima input teks dan file serta mengembalikan teks. Model ini memiliki jendela konteks 128.000 token, yang cukup untuk menampung dokumen panjang, file kode besar atau percakapan panjang dalam satu permintaan, dan dapat menghasilkan hingga 102.400 token dalam satu respons. Karena file adalah modalitas input yang diterima, Anda dapat memberikan konten dokumen bersama instruksi Anda daripada menempelkan semuanya ke dalam prompt sendiri. Output hanya berupa teks, jadi jika Anda memerlukan gambar atau audio Anda akan memerlukan model yang berbeda.

Kemampuan tersebut mengarah pada serangkaian penggunaan praktis yang cukup luas. Konteks panjang dan kekuatan penalaran cocok untuk analisis dokumen, peringkasan dan tanya jawab atas materi sumber yang panjang, termasuk kontrak, laporan dan makalah penelitian yang disediakan sebagai file. Penyedia menyoroti kode dan JSON, sehingga tugas penjelasan kode, pembuatan dan refaktorisasi adalah kecocokan yang wajar, begitu juga menghasilkan payload JSON terstruktur untuk sistem hilir. Aplikasi bergaya obrolan dan asisten juga bekerja dengan baik, terutama ketika percakapan perlu membawa banyak konteks sebelumnya tanpa pemotongan.

Anda memanggil model melalui API yang kompatibel dengan OpenAI dari api14 menggunakan id model "mistralai/mistral-large". Karena endpoint mengikuti skema OpenAI, pustaka klien OpenAI yang ada dan bentuk permintaan berfungsi hanya dengan mengubah base URL dan id model. Parameter permintaan yang didukung adalah frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools dan top_p. Pemanggilan alat tersedia melalui tools dan tool_choice, dan structured_outputs plus response_format memungkinkan Anda membatasi bentuk teks yang dikembalikan ketika Anda memerlukan JSON yang andal. Parameter seed membantu ketika Anda menginginkan pengambilan sampel yang dapat diulang, dan stop, temperature dan top_p memberi Anda kendali atas di mana dan bagaimana model menghasilkan.

Ingatlah batas pengetahuan: untuk pertanyaan tentang peristiwa setelah 30 November 2024, model tidak memiliki pengetahuan bawaan dan akan memerlukan informasi tersebut disediakan dalam prompt atau melalui alat. Konteks 128.000 token dan batas output 102.400 token memang besar tetapi terbatas, sehingga korpus yang sangat besar tetap memerlukan pemotongan atau pengambilan. Jika tugas Anda tidak berbasis teks, atau jika Anda secara khusus memerlukan model dengan batas pengetahuan yang lebih baru, model lain di api14 mungkin menjadi pilihan yang lebih baik.