OpenAI: GPT-4o-mini (batch)

GPT-4o-mini (batch) adalah model pembuatan teks dari OpenAI, yang ditawarkan di sini dalam varian batch-nya. Model ini termasuk dalam keluarga GPT-4o dan diposisikan sebagai model kecil OpenAI, berada di bawah GPT-4o penuh. Penyedia merilisnya pada 18 Juli 2024, dan pengetahuan pelatihannya mencakup hingga 31 Oktober 2023. Jika Anda pernah menggunakan model OpenAI lainnya, perilaku dan antarmukanya akan terasa familiar.

Model ini menerima teks, gambar, dan file sebagai input, dan hanya mengembalikan teks. Jendela konteksnya adalah 128.000 token, yang cukup untuk menampung dokumen panjang, percakapan multi-giliran, atau campuran prosa dan gambar dalam satu permintaan. Output dibatasi hingga 16.384 token per respons. Karena input gambar didukung, Anda dapat mengirim tangkapan layar, diagram, atau halaman hasil pindai bersama prompt teks dan meminta jawaban tertulis. Input file memperluas ini ke dokumen yang ingin Anda ringkas, ekstrak, atau tanyakan.

Kemampuan tersebut mengarah pada serangkaian penggunaan praktis yang cukup luas. Tanya jawab dokumen atas PDF atau laporan panjang, peringkasan rapat dan utas, ekstraksi bidang terstruktur dari teks tidak terstruktur, klasifikasi dan pemberian tag, serta penyusunan atau penulisan ulang konten semuanya cocok. Input gambar membuatnya dapat digunakan untuk tugas seperti membaca bagan, mentranskripsikan teks yang terlihat, atau mendeskripsikan isi tangkapan layar. Pemanggilan tool dan output terstruktur berarti model ini dapat berada di dalam loop agen atau memberi masukan ke sistem hilir yang mengharapkan skema tetap, dan opsi web search memungkinkan permintaan menarik konteks eksternal.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "openai/gpt-4o-mini:batch". Karena antarmukanya kompatibel dengan OpenAI, SDK dan klien OpenAI yang ada berfungsi hanya dengan perubahan base URL dan key. Parameter permintaan yang didukungnya adalah frequency_penalty, logit_bias, logprobs, max_tokens, prediction, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs, top_p dan web_search_options. Itu mencakup kontrol sampling, eksekusi deterministik melalui seed, constrained decoding melalui response_format dan structured_outputs, serta penggunaan tool melalui tools dan tool_choice.

Ada dua hal yang perlu diperiksa sebelum Anda memutuskan. Batas pengetahuan adalah 31 Oktober 2023, jadi apa pun yang lebih baru harus berasal dari prompt Anda atau dari web_search_options. Output hanya berupa teks, jadi jika Anda memerlukan gambar atau audio yang dihasilkan, model ini bukan pilihannya. Dan karena ini adalah varian batch, pastikan profil latensinya sesuai dengan aplikasi Anda; jika Anda memerlukan waktu respons interaktif, bandingkan dengan entri standar non-batch untuk model yang sama.