OpenAI: GPT-3.5 Turbo

GPT-3.5 Turbo adalah model teks dari OpenAI, yang diidentifikasi di api14 sebagai openai/gpt-3.5-turbo. OpenAI mendeskripsikannya sebagai model tercepatnya, dan model ini dirilis oleh penyedia pada 2023-05-28. Model ini berada dalam kategori teks dan dibangun untuk memahami dan menghasilkan bahasa alami atau kode, dengan optimasi untuk tugas chat dan completion tradisional. Jika Anda memilih model OpenAI serbaguna untuk pekerjaan teks sehari-hari, ini adalah default lama yang menjadi dasar sebagian besar ekosistem dibangun.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output, jadi tidak ada penanganan gambar, audio, atau file yang perlu direncanakan. Jendela konteksnya adalah 16.385 token, dan output maksimumnya adalah 4.096 token, yang berarti input panjang dimungkinkan tetapi balasannya sendiri dibatasi jauh di bawah ukuran konteks. Batas pengetahuan adalah 2021-09-30, jadi apa pun setelah tanggal itu harus berasal dari prompt, bukan dari data pelatihan model. Parameter permintaan yang didukung meliputi temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, structured_outputs, tools dan tool_choice.

Kemampuan tersebut sesuai dengan cukup banyak pekerjaan praktis. Asisten chat, penyusunan dan penulisan ulang, peringkasan dokumen yang muat di dalam jendela konteks, klasifikasi dan ekstraksi ke bentuk tetap, serta pembuatan atau penjelasan kode semuanya cocok, karena model ini menangani bahasa alami maupun kode. Karena tools dan tool_choice didukung, Anda dapat mendefinisikan skema fungsi dan membiarkan model memutuskan kapan harus memanggilnya, yang cocok untuk alur kerja bergaya agen dan pipeline retrieval tempat model perlu meminta data. Parameter seed membantu ketika Anda menginginkan sampling yang dapat diulang, dan response_format plus structured_outputs berguna ketika parser hilir mengharapkan struktur yang dapat diprediksi, bukan prosa bebas.

Memanggilnya melalui api14 bekerja sama seperti endpoint lain yang kompatibel dengan OpenAI. Kirim permintaan Anda ke rute chat completions dengan model id openai/gpt-3.5-turbo, dan gunakan parameter yang tercantum di atas di body permintaan sesuai kebutuhan. Jika Anda sudah memiliki kode yang ditulis terhadap OpenAI SDK atau klien yang kompatibel, mengarahkan base URL ke api14 dan mengganti model id biasanya menjadi satu-satunya perubahan yang diperlukan.

Ada dua batasan yang perlu diingat sebelum Anda memutuskan. Batas pengetahuan 2021-09-30 berarti model tidak akan mengetahui peristiwa, library, atau API terbaru kecuali Anda menyediakan konteks tersebut, dan batas output 4.096 token membatasi seberapa banyak yang dapat dihasilkannya dalam satu respons. Untuk input yang sangat besar, generasi yang sangat panjang, atau tugas yang bergantung pada pengetahuan terbaru, model lain di api14 mungkin lebih cocok untuk Anda.