OpenAI: GPT-3.5 Turbo Instruct

GPT-3.5 Turbo Instruct adalah model teks dari OpenAI, dirilis pada 28 September 2023. Ini adalah varian dari GPT-3.5 Turbo yang disetel untuk prompt instruksional, dan menghilangkan optimasi terkait chat yang ditemukan pada model percakapan OpenAI. Data pelatihannya mencakup hingga September 2021, yang merupakan batas pengetahuan yang dinyatakan.

Model ini menerima teks sebagai input dan mengembalikan teks sebagai output, sehingga cocok untuk pekerjaan bergaya completion biasa daripada tugas multimodal. Panjang konteksnya 4095 token dan output maksimum 3685 token. Parameter permintaan yang didukung meliputi temperature, top_p, max_tokens, stop, frequency_penalty, presence_penalty, logit_bias, logprobs, top_logprobs, seed, response_format, dan structured_outputs.

Karena model ini disetel untuk instruksi bukan dioptimalkan untuk chat, kecocokan alaminya adalah pekerjaan prompt tunggal ke completion. Penggunaan umum meliputi penyusunan dan penulisan ulang teks, peringkasan, klasifikasi, ekstraksi ke dalam struktur yang ditentukan, dan pipeline generasi di mana Anda mengirim satu instruksi dan mengonsumsi satu respons. Dukungan structured outputs dan response_format berguna ketika kode hilir membutuhkan bentuk yang dapat diprediksi, dan logprobs dengan top_logprobs membantu ketika Anda ingin memeriksa keyakinan pada tingkat token. Parameter seed membantu ketika Anda menginginkan sampling yang lebih dapat direproduksi di berbagai eksekusi.

Anda memanggil model ini melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "openai/gpt-3.5-turbo-instruct". Permintaan mengikuti skema gaya chat completions OpenAI, sehingga SDK dan klien OpenAI yang ada berfungsi hanya dengan perubahan base URL dan key. Kirim instruksi Anda sebagai konten pesan user dan atur salah satu parameter yang didukung yang tercantum di atas. Perhatikan bahwa karena model ini disetel untuk instruksi bukan dioptimalkan untuk chat, prompt yang ditulis sebagai satu instruksi yang jelas cenderung lebih cocok daripada percakapan multi-turn yang panjang.

Batasan utama yang perlu diperhitungkan adalah panjang konteks 4095 token dan batas pengetahuan September 2021, jadi apa pun yang membutuhkan informasi terbaru harus disediakan di dalam prompt itu sendiri. Dokumen panjang, file kode besar, atau dialog multi-turn yang diperpanjang dapat melebihi jendela atau bekerja kurang alami di sini. Jika Anda membutuhkan percakapan bolak balik, model yang dioptimalkan untuk chat biasanya lebih cocok, dan jika Anda membutuhkan konteks yang jauh lebih besar, model lain di katalog akan lebih sesuai.