OpenAI: GPT-4 Turbo (batch)

GPT-4 Turbo (batch) adalah model generasi teks dari OpenAI, yang ditawarkan di api14 dengan model id openai/gpt-4-turbo:batch. Ini adalah varian batch dari lini GPT-4 Turbo milik OpenAI, versi yang menambahkan kemampuan visi. api14 mengarahkan permintaan ke model ini melalui antarmuka yang kompatibel dengan OpenAI yang sama seperti yang Anda gunakan untuk model lain di platform, jadi tidak diperlukan SDK terpisah atau pekerjaan integrasi.

Model ini menerima input teks dan gambar serta menghasilkan output teks, yang berarti Anda dapat mencampur prompt dan gambar dalam satu permintaan jika itu membantu. Model ini mendukung jendela konteks 128.000 token, dan respons dapat mencapai hingga 4.096 token. Data pelatihannya mencakup hingga Desember 2023. Permintaan visi bekerja bersama dengan mode JSON dan pemanggilan fungsi, sehingga output terstruktur dan penggunaan alat tidak terbatas pada panggilan teks saja.

Kemampuan tersebut mengarah pada beberapa pola praktis. Dokumen panjang, basis kode, atau transkrip dapat masuk dengan nyaman ke dalam jendela 128.000 token, sehingga peringkasan, ekstraksi, dan tanya jawab atas input besar dapat dilakukan tanpa pemotongan yang berat. Karena gambar diterima sebagai input, analisis tangkapan layar, interpretasi diagram, dan penguraian dokumen dari halaman hasil pindai juga termasuk dalam cakupannya. Pemanggilan fungsi dan output terstruktur membuatnya cukup cocok untuk agen, alur kerja yang menggunakan alat, dan pipeline yang membutuhkan respons yang dapat dibaca mesin, sementara mode JSON menjaga penguraian di hilir tetap dapat diprediksi.

Untuk memanggilnya di api14, kirim permintaan ke endpoint chat completions dengan field model diatur ke openai/gpt-4-turbo:batch, persis seperti yang Anda lakukan dengan API OpenAI sendiri. Model ini mendukung frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs dan top_p. Itu mencakup kontrol sampling, determinisme melalui seed, batas token, urutan stop, format output terstruktur dan definisi alat, sehingga sebagian besar body permintaan bergaya OpenAI standar berfungsi tanpa perubahan.

Ada dua batasan yang perlu diperhatikan sebelum Anda memutuskan. Output dibatasi pada 4.096 token per respons, sehingga tugas yang membutuhkan penyelesaian tunggal yang sangat panjang mungkin perlu dipecah ke beberapa panggilan, dan batas pengetahuan Desember 2023 berarti model tidak mengetahui apa pun setelah tanggal tersebut kecuali Anda memberikannya di prompt. Jika beban kerja Anda membutuhkan pengetahuan yang lebih baru, anggaran output yang lebih besar, atau profil biaya yang berbeda, periksa model lain yang tersedia di api14 sebelum memilih model ini.