OpenAI: GPT-3.5 Turbo 16k

GPT-3.5 Turbo 16k adalah model teks dari OpenAI, yang dirilis oleh penyedia pada 28 Agustus 2023. Model ini berada dalam keluarga GPT-3.5 dan merupakan varian konteks panjang dari GPT-3.5 Turbo standar, yang menawarkan panjang konteks sekitar empat kali lipat dari model tersebut. Ini adalah model bahasa serbaguna, bukan model khusus, dan ditujukan untuk pengembang yang membutuhkan ruang lebih banyak dalam satu permintaan daripada yang disediakan GPT-3.5 Turbo dasar.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output. Jendela konteksnya adalah 16.385 token, dan output maksimumnya adalah 4.096 token. Batas pengetahuan adalah 30 September 2021, jadi apa pun setelah tanggal itu berada di luar data pelatihannya. Konteks yang lebih besar adalah pembeda utama di sini: OpenAI menggambarkannya sebagai mendukung sekitar 20 halaman teks dalam satu permintaan, yang membuatnya cocok untuk prompt yang membawa banyak materi sumber, bukan instruksi singkat.

Kapasitas itu membentuk kasus penggunaan praktis. Meringkas dokumen panjang, menjawab pertanyaan atas korpus yang ditempel, mengekstrak bidang terstruktur dari laporan yang panjang, dan percakapan multi giliran yang perlu mempertahankan sejumlah besar dialog sebelumnya, semuanya muat dalam jendela 16.385 token. Karena model ini mendukung tools dan structured outputs, model ini juga dapat digunakan untuk alur kerja bergaya function calling, di mana model memilih sebuah tool dan mengembalikan argumen, dan untuk respons yang harus sesuai dengan skema JSON melalui response_format. Logprobs dan top_logprobs tersedia, yang membantu ketika Anda perlu memeriksa keyakinan tingkat token dari model, bukan hanya teks akhirnya.

Anda memanggilnya melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "openai/gpt-3.5-turbo-16k". Karena endpoint mengikuti bentuk chat completions OpenAI, SDK dan klien OpenAI yang ada berfungsi hanya dengan perubahan base URL dan key. Parameter permintaan yang didukung adalah frequency_penalty, logit_bias, logprobs, max_completion_tokens, max_tokens, presence_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_logprobs dan top_p. Seed berguna ketika Anda menginginkan sampling yang dapat diulang, dan stop sequences memungkinkan Anda membatasi generasi.

Ada dua batasan yang perlu dipertimbangkan sebelum Anda memutuskan. Batas pengetahuan September 2021 berarti model tidak memiliki kesadaran tentang peristiwa, pustaka, atau API setelahnya, kecuali Anda menyediakan konteks itu sendiri, dan plafon output 4.096 token membatasi seberapa banyak yang dapat dihasilkannya dalam satu respons, meskipun jendela inputnya besar. Jika tugas Anda membutuhkan pengetahuan yang lebih baru, output yang lebih panjang, atau input gambar, model ini tidak mencakupnya, dan model lain di api14 akan menjadi pilihan yang lebih tepat.