OpenAI: GPT-4o (batch)

OpenAI: GPT-4o (batch) adalah model generasi teks dari OpenAI, yang ditawarkan di sini dengan id model openai/gpt-4o:batch. Model ini termasuk dalam keluarga GPT-4o, di mana "o" berarti "omni", dan OpenAI menggambarkannya sebagai model yang mendukung input teks dan gambar dengan output teks. Varian batch adalah model dasar yang sama yang dilayani melalui alur kerja batch, bukan alur kerja interaktif, sehingga cocok untuk pekerjaan yang tidak memerlukan jawaban segera.

Dari sisi kemampuan, model ini menerima teks, gambar, dan file sebagai input dan hanya mengembalikan teks. Model ini memiliki jendela konteks 128.000 token dan dapat menghasilkan hingga 16.384 token dalam satu respons. Batas pengetahuan (knowledge cutoff) nya adalah 31 Oktober 2023, sehingga apa pun setelah tanggal tersebut harus berasal dari prompt atau dari alat, bukan dari pelatihan model itu sendiri. Parameter permintaan yang didukung meliputi temperature, top_p, max_tokens, stop, seed, frequency_penalty, presence_penalty, logit_bias, logprobs, dan top_logprobs, bersama dengan response_format, structured_outputs, tools, tool_choice, prediction, dan web_search_options.

Kemampuan tersebut menunjukkan berbagai penggunaan praktis yang cukup luas. Karena gambar dan file dapat disertakan bersama teks, model ini cocok untuk peninjauan dokumen, ekstraksi dari materi hasil pemindaian atau PDF, dan peringkasan laporan panjang yang jika tidak demikian akan melebihi jendela konteks yang lebih kecil. Jendela 128.000 token juga membuatnya wajar untuk menganalisis basis kode besar, transkrip panjang, atau kumpulan multi-dokumen dalam satu permintaan. Pemanggilan alat (tool calling) dan output terstruktur menjadikannya kandidat untuk pipeline di mana model harus mengembalikan JSON yang dapat dibaca mesin atau memanggil fungsi eksternal, dan jalur batch cocok untuk pekerjaan offline seperti klasifikasi massal, penandaan konten, atau pembuatan ringkasan di seluruh korpus besar.

Memanggilnya melalui api14 bekerja dengan cara yang sama seperti endpoint lain yang kompatibel dengan OpenAI. Anda mengirim permintaan ke rute chat completions dengan bidang model diatur ke openai/gpt-4o:batch, dan Anda dapat meneruskan salah satu parameter yang tercantum di atas dalam isi permintaan. Karena endpoint ini mengikuti skema OpenAI, pustaka klien dan SDK OpenAI yang ada umumnya berfungsi tanpa modifikasi, dan beralih antar model biasanya hanya soal mengubah id model.

Satu hal yang perlu diingat adalah batas pengetahuan 31 Oktober 2023, yang berarti pertanyaan tentang peristiwa setelahnya perlu didasari melalui prompt atau melalui web_search_options. Output hanya berupa teks, sehingga pembuatan gambar berada di luar cakupan. Jika beban kerja Anda membutuhkan respons sinkron dengan latensi rendah, bukan pemrosesan batch, varian GPT-4o non-batch akan menjadi pilihan yang lebih natural.