OpenAI: o1

OpenAI o1 adalah model yang berfokus pada teks dari OpenAI, dirilis pada 17 Desember 2024. Model ini termasuk dalam keluarga o1, yang digambarkan OpenAI sebagai keluarga model terbaru dan terkuatnya. Ide utama di balik seri ini adalah bahwa model menghabiskan lebih banyak waktu berpikir sebelum merespons, dan dilatih dengan reinforcement learning skala besar untuk bernalar. Jika Anda pernah menggunakan model chat OpenAI sebelumnya, perbedaan praktisnya adalah o1 dibangun untuk mengerjakan suatu masalah secara internal alih-alih menjawab langsung.

Pada sisi input, o1 menerima teks, gambar dan file, serta mengembalikan teks. Jendela konteksnya 200.000 token, dengan output maksimum 100.000 token, sehingga dokumen panjang dan prompt besar dapat ditampung dengan nyaman bersama respons yang dihasilkan secara substansial. Batas pengetahuan (knowledge cutoff) nya adalah 31 Oktober 2023, yang penting ketika tugas Anda bergantung pada peristiwa atau versi library setelah tanggal tersebut. Parameter permintaan yang didukung meliputi max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning dan include_reasoning. Parameter reasoning dan include_reasoning khusus untuk keluarga ini dan memungkinkan Anda mengontrol atau menampilkan penalaran internal model alih-alih memperlakukannya sebagai kotak hitam.

Kemampuan tersebut mengarah pada serangkaian kasus penggunaan yang cukup spesifik. Konteks besar dan input file cocok untuk analisis dokumen panjang, kontrak, makalah penelitian atau basis kode yang jawabannya bergantung pada detail yang tersebar di banyak halaman. Input gambar memperluas ini ke diagram, tangkapan layar dan materi hasil pemindaian yang perlu ditafsirkan bersama teks. Karena model dilatih untuk bernalar, model ini cocok untuk masalah multi langkah: debugging, pekerjaan matematika, perencanaan, dan tugas di mana tebakan pertama yang salah mahal. Dukungan tool dan structured output membuatnya dapat digunakan di dalam pipeline ketika model harus memanggil fungsi atau mengembalikan JSON yang dapat diparsing oleh kode hilir.

Anda memanggil o1 melalui API yang kompatibel dengan OpenAI dari api14 menggunakan model id "openai/o1". Karena antarmukanya mengikuti bentuk chat completions OpenAI, klien OpenAI SDK yang ada umumnya berfungsi setelah Anda mengarahkan base URL ke api14 dan mengganti model id tersebut. Parameter permintaan yang tercantum di atas adalah yang dapat diandalkan: max_tokens, seed, response_format, structured_outputs, tools, tool_choice, reasoning dan include_reasoning. Jika Anda memerlukan pengambilan sampel deterministik untuk pengujian, seed tersedia; jika Anda memerlukan output yang dapat dibaca mesin, structured_outputs dan response_format mencakupnya.

Satu batasan yang perlu diperhatikan adalah knowledge cutoff 31 Oktober 2023, jadi apa pun yang memerlukan informasi terkini harus berasal dari prompt Anda, file yang diunggah atau tool call, bukan dari pengetahuan model itu sendiri. Outputnya hanya teks, jadi pembuatan gambar berada di luar cakupannya. Jika beban kerja Anda adalah chat sederhana yang sensitif terhadap latensi dan tidak mendapat manfaat dari penalaran yang diperluas, model yang lebih ringan mungkin lebih cocok.