Mistral: Mixtral 8x22B Instruct

Mistral: Mixtral 8x22B Instruct adalah model teks dari Mistral, yang dirilis oleh penyedia pada 17 April 2024. Ini adalah versi resmi instruct fine-tuned dari Mixtral 8x22B, desain sparse mixture-of-experts yang menggunakan 39B parameter aktif dari 141B. Tuning instruct menyesuaikan model dasar untuk mengikuti arahan dan menjawab permintaan secara langsung, yang merupakan hal yang diinginkan sebagian besar pengembang aplikasi saat mereka memanggil model melalui API.

Model ini menerima input teks dan file serta mengembalikan teks. Jendela konteksnya adalah 65.536 token, dan output maksimumnya adalah 52.428 token, sehingga input panjang dan generasi panjang keduanya dimungkinkan dalam permintaan yang sama. Batas pengetahuan adalah 31 Januari 2024, yang berarti apa pun setelah tanggal itu berada di luar cakupan data pelatihan model. Mistral menyoroti kemampuan matematika dan coding yang kuat sebagai keunggulan khusus model ini, bersama dengan efisiensi biaya untuk ukurannya.

Kemampuan tersebut mengarah pada sekumpulan penggunaan praktis yang cukup luas. Konteks panjang cocok untuk bekerja dengan dokumen besar, baik itu berarti merangkum laporan panjang, mengekstrak detail terstruktur dari sebuah file, atau menjawab pertanyaan terhadap sekumpulan teks yang disediakan dalam prompt. Kekuatan matematika dan coding membuatnya cocok untuk bantuan kode, seperti menjelaskan atau menghasilkan kode, dan untuk tugas kuantitatif yang membutuhkan penalaran langkah demi langkah. Karena menerima file sebagai input, model ini dapat digunakan dalam pipeline di mana dokumen dimasukkan secara langsung alih-alih ditempel sebagai teks biasa. Tool calling dan structured outputs juga membuatnya cocok untuk alur kerja bergaya agen dan untuk menghasilkan respons yang dapat diurai oleh kode hilir.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "mistralai/mixtral-8x22b-instruct". Parameter permintaan yang didukung adalah frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools dan top_p. Dalam praktiknya itu mencakup kontrol sampling yang biasa (temperature, top_p, penalties, seed, stop), panjang output melalui max_tokens, pembentukan respons melalui response_format dan structured_outputs, serta function calling melalui tools dan tool_choice. Jika Anda sudah memiliki kode yang ditulis terhadap bentuk chat completions OpenAI, beralih ke model ini sebagian besar hanya soal mengubah model id.

Satu hal yang perlu diingat adalah batas pengetahuan 31 Januari 2024, jadi pertanyaan tentang peristiwa setelahnya tidak akan dijawab dari data pelatihan dan mungkin memerlukan retrieval atau konteks yang disediakan dalam prompt. Model ini hanya teks pada sisi output, jadi tugas yang memerlukan pembuatan gambar atau audio berada di luar cakupan. Jika beban kerja Anda bergantung pada informasi yang sangat baru atau pada modalitas di luar input teks dan file, model lain mungkin lebih cocok.