Mistral: Mistral Small 3

Mistral Small 3 adalah model generasi teks dari Mistral, yang dirilis oleh penyedia pada 30 Januari 2025. Ini adalah model bahasa dengan 24B parameter yang dioptimalkan untuk performa latensi rendah pada tugas AI umum, dan dirilis di bawah lisensi Apache 2.0. Terdapat versi pre-trained dan instruction-tuned, dan varian instruction-tuned adalah yang disajikan di sini dengan model id mistralai/mistral-small-24b-instruct-2501.

Model ini bekerja dengan input teks dan menghasilkan output teks, sehingga cocok untuk beban kerja bergaya chat dan completion standar. Model ini memiliki context window 32768 token, yang mencakup prompt dan respons yang dihasilkan secara bersamaan, dan dapat menghasilkan hingga 16384 token dalam satu output. Knowledge cutoff-nya adalah 31 Oktober 2023, sehingga apa pun yang terjadi setelah tanggal tersebut berada di luar apa yang dipelajari model selama pelatihan. Kombinasi jumlah parameter yang moderat dan konteks 32k menjadikannya model instruct serbaguna rather than spesialis dalam satu tugas sempit tertentu.

Karena di-instruction-tune dan dioptimalkan untuk latensi rendah, model ini cocok untuk tugas sehari-hari di mana kecepatan respons penting: asisten chat, peringkasan, penulisan ulang, klasifikasi, ekstraksi, dan tanya jawab atas materi yang muat dalam context window. Batas output 16384 token memungkinkan generasi yang lebih panjang seperti draf multi-paragraf atau dokumen terstruktur, sementara konteks 32768 token mendukung prompt yang menyertakan cukup banyak teks referensi, misalnya beberapa dokumen atau riwayat percakapan yang panjang. Pengembang yang membutuhkan model teks yang andal untuk endpoint bervolume tinggi dan sensitif latensi adalah audiens yang dituju.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id mistralai/mistral-small-24b-instruct-2501, yang berarti pustaka klien OpenAI yang ada dan bentuk permintaan berfungsi hanya dengan mengganti nama model. Model ini mendukung frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k, dan top_p. Structured outputs dan response_format tersedia untuk kasus di mana Anda membutuhkan balasan dalam bentuk yang terdefinisi, dan seed dapat membantu membuat sampling lebih reprodusibel. Perilaku sampling dikendalikan melalui temperature, top_p, top_k, dan min_p, sementara repetition_penalty, frequency_penalty, dan presence_penalty membentuk seberapa banyak model mengulang dirinya sendiri.

Dua batasan praktis perlu diperhatikan sebelum Anda berkomitmen. Knowledge cutoff 31 Oktober 2023 berarti model tidak memiliki kesadaran bawaan tentang peristiwa setelahnya, sehingga aplikasi yang bergantung pada informasi terbaru perlu menyediakannya dalam prompt. Input dan output hanya berupa teks, jadi jika beban kerja Anda melibatkan gambar atau audio, model ini bukan pilihan yang tepat. Dan dengan context window 32768 token, input yang sangat besar perlu dipecah menjadi potongan atau diambil melalui retrieval rather than diberikan secara keseluruhan.