Mistral: Saba

Mistral: Saba adalah model teks dari Mistral, dirilis oleh penyedia pada 17 Februari 2025. Ini adalah model bahasa dengan 24B parameter yang dirancang khusus untuk Timur Tengah dan Asia Selatan, dilatih pada data regional terkurasi untuk memberikan respons yang akurat dan relevan secara konteks sekaligus mempertahankan performa yang efisien. Batas pengetahuan (knowledge cutoff) nya adalah 30 September 2024.

Model ini menerima input teks dan file serta mengembalikan teks. Model ini memiliki context window 32.768 token dan output maksimum 26.214 token, sehingga dapat menangani input yang cukup panjang dan menghasilkan completion yang panjang dalam satu permintaan. Parameter permintaan yang didukung meliputi frequency_penalty, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools dan top_p. Adanya tools dan tool_choice berarti model ini dapat digunakan dalam alur kerja function-calling atau bergaya agen, sementara structured_outputs dan response_format memungkinkan Anda membatasi bentuk teks yang dikembalikan.

Karena fokus regionalnya, Saba cocok untuk aplikasi di mana bahasa, terminologi dan konteks Timur Tengah dan Asia Selatan menjadi penting: asisten dukungan pelanggan, pembuatan dan peringkasan konten untuk audiens di wilayah tersebut, tanya jawab dokumen atas file yang diunggah, serta tugas ekstraksi atau klasifikasi di mana frasa yang relevan secara lokal memengaruhi kualitas. Modalitas input file berguna untuk alur kerja yang meneruskan dokumen langsung ke model alih-alih menempelkan teks, dan parameter tool mendukung pipeline yang perlu memanggil fungsi atau API eksternal. Konteks 32.768 token cukup untuk laporan panjang, percakapan multi-turn dan kumpulan dokumen berukuran sedang, meskipun korpus yang sangat besar akan memerlukan chunking atau retrieval.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "mistralai/mistral-saba". Arahkan klien OpenAI yang sudah Anda miliki ke base URL api14, kirim permintaan chat completions dengan id tersebut, dan teruskan salah satu parameter yang didukung yang tercantum di atas dengan cara biasa. Karena antarmukanya kompatibel dengan OpenAI, kode yang ditulis untuk model OpenAI umumnya berfungsi dengan perubahan minimal selain model id dan endpoint.

Ingatlah batas konteks dan output saat merancang permintaan: input yang melebihi 32.768 token harus dipangkas atau dipisah, dan respons dibatasi pada 26.214 token. Jika tugas Anda bergantung pada pengetahuan setelah 30 September 2024, atau berada di luar fokus Timur Tengah dan Asia Selatan di mana model serbaguna mungkin lebih cocok, pertimbangkan model lain di api14 sebagai gantinya.