OpenAI: GPT-4 Turbo

GPT-4 Turbo adalah model generasi teks dari OpenAI, terdaftar di api14 dengan model id openai/gpt-4-turbo. Ini adalah varian GPT-4 Turbo terbaru dan menambahkan kemampuan visi ke lini GPT-4 Turbo. OpenAI mendeskripsikannya sebagai mendukung permintaan visi bersama dengan mode JSON dan pemanggilan fungsi, dan data pelatihannya mencakup hingga Desember 2023.

Model ini menerima teks dan gambar sebagai input dan mengembalikan teks. Model ini memiliki context window 128.000 token, yang memungkinkan dokumen panjang, percakapan panjang, dan beberapa gambar ditangani dalam satu permintaan. Output maksimum adalah 4.096 token, sehingga respons tetap terbatas meskipun inputnya besar. Knowledge cutoff-nya adalah 2023-12-31, artinya model ini tidak mengetahui peristiwa setelah tanggal tersebut kecuali Anda menyediakan informasinya di prompt.

Karena model ini membaca gambar sekaligus teks, model ini cocok untuk tugas seperti mendeskripsikan atau mengekstrak informasi dari screenshot, diagram, grafik, dan dokumen hasil pemindaian, menjawab pertanyaan tentang gambar yang diunggah, atau menggabungkan konteks visual dengan instruksi tertulis. Context window yang besar membuatnya cukup cocok untuk merangkum laporan panjang, meninjau file kode atau kontrak berukuran besar, dan mempertahankan percakapan multi giliran yang panjang. Tool calling dan structured output memungkinkan Anda membangun alur kerja di mana model memilih fungsi atau mengembalikan data dalam bentuk yang telah ditentukan, yang berguna untuk agen, pipeline ekstraksi, dan integrasi yang membutuhkan hasil yang dapat dibaca mesin.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id openai/gpt-4-turbo, sehingga SDK dan klien OpenAI yang ada dapat bekerja hanya dengan mengubah base URL dan key. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs dan top_p. Itu mencakup kontrol sampling, perilaku yang mendekati deterministik melalui seed, batas token, urutan stop, inspeksi probabilitas melalui logprobs dan top_logprobs, pemformatan structured output, serta pemanggilan fungsi atau tool dengan tool_choice.

Ada dua batasan yang perlu diperhatikan saat memilih model ini. Output dibatasi pada 4.096 token, sehingga tugas yang membutuhkan satu respons sangat panjang mungkin memerlukan pemotongan menjadi beberapa bagian atau model dengan batas output yang lebih tinggi. Knowledge cutoff 2023-12-31 berarti pertanyaan tentang peristiwa yang lebih baru bergantung pada konteks yang Anda berikan. Jika beban kerja Anda hanya teks dan tidak memanfaatkan input gambar, model yang berfokus pada teks mungkin lebih cocok, tetapi untuk permintaan campuran teks dan gambar dalam konteks 128.000 token, model ini mencakup kasus kasus umum.