Microsoft: Phi 4

Microsoft Phi 4 adalah model teks dari Microsoft, dirilis pada 10 Januari 2025 dan diidentifikasi di api14 sebagai microsoft/phi-4. Model ini berasal dari Microsoft Research, grup di balik keluarga Phi, dan penyedianya menggambarkannya sebagai model dengan 14 miliar parameter yang dibangun untuk berkinerja baik pada tugas penalaran kompleks sekaligus beroperasi secara efisien dalam situasi dengan memori terbatas atau ketika respons cepat dibutuhkan. Model ini berada di kategori teks, jadi ditujukan untuk pekerjaan bahasa bukan gambar atau audio.

Model ini menerima input teks dan mengembalikan output teks. Model ini memiliki context window 16.384 token dan output maksimum 14.745 token, dengan knowledge cutoff 30 Juni 2024. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, top_k dan top_p. Kombinasi itu mencakup kontrol sampling biasa plus structured outputs, yang penting jika Anda perlu balasan sesuai skema bukan datang sebagai teks bebas.

Kemampuan tersebut mengarah ke beberapa penggunaan praktis. Prompt yang berat penalaran seperti analisis multi langkah, soal bergaya matematika dan pertanyaan logika adalah fokus yang dinyatakan, jadi cocok untuk tugas di mana model harus melalui langkah perantara sebelum menjawab. Karena dirancang untuk berjalan efisien dengan memori terbatas dan merespons cepat, model ini juga cocok untuk deployment yang sensitif latensi atau terbatas sumber daya, termasuk penyiapan lokal atau self-hosted di mana model yang lebih kecil lebih disukai daripada model yang sangat besar. Structured outputs dan response_format membuatnya dapat digunakan untuk ekstraksi dan klasifikasi, di mana Anda ingin JSON atau bentuk terdefinisi lain dikembalikan. Context 16.384 token mendukung input yang cukup panjang seperti dokumen, transkrip atau file kode, meskipun ini bukan model long-context.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id microsoft/phi-4. Arahkan klien OpenAI yang ada ke base URL api14, pertahankan gaya permintaan chat completions, dan setel bidang model ke id tersebut. Anda dapat memberikan parameter apa pun yang tercantum di atas dalam body permintaan, jadi temperature, top_p, top_k, min_p, repetition_penalty, frequency_penalty, presence_penalty, logit_bias, seed, stop, max_tokens, response_format dan structured_outputs semuanya tersedia untuk menyetel atau membatasi respons.

Batasan utama yang perlu diingat adalah context window. Pada 16.384 token, dengan output hingga 14.745 token, ini cocok untuk prompt yang terfokus dan dokumen sedang, tetapi jika input Anda adalah basis kode besar, buku panjang atau riwayat percakapan yang panjang, model dengan context lebih besar akan lebih baik untuk Anda. Knowledge cutoff 30 Juni 2024 juga berarti model tidak memiliki kesadaran atas peristiwa setelah tanggal itu, jadi apa pun yang sensitif waktu perlu disediakan dalam prompt.