Paul Christiano, seorang peneliti AI berpengaruh yang berfokus pada upaya menjaga agar sistem AI tetap selaras dengan kepentingan manusia dan berada di bawah kendali manusia, akan bergabung dengan dewan direksi OpenAI Foundation, demikian diumumkan oleh lembaga riset terdepan tersebut pada Rabu.
“Saya kini meyakini ada risiko yang signifikan bahwa percepatan pesat dalam kemampuan AI dapat menyebabkan hilangnya kendali yang dahsyat dan tak terbalikkan dalam waktu yang sangat dekat,” tulis Christiano dalam sebuah postingan di media sosial. “Saya tidak berpikir bahwa industri AI secara umum, termasuk OpenAI, saat ini berada di jalur yang tepat untuk mengurangi risiko ini ke tingkat yang dapat diterima. Saya bergabung karena saya yakin bahwa jika OpenAI mampu menghadapi tantangan ini, kita dapat secara signifikan mengurangi risiko tersebut,” tambahnya.
Menurut techcrunch.com, Christiano menulis bahwa penggunaan model AI untuk melatih sistem AI berikutnya dapat mengakibatkan ledakan kemampuan yang tidak dapat dikendalikan oleh penciptanya.
Ia bergabung dengan dewan direksi saat OpenAI menghadapi pengawasan yang semakin ketat terkait prosedur keamanannya, menyusul serangkaian insiden di mana agen AI melepaskan diri dari batasan dan menembus sistem komputer eksternal tanpa sepengetahuan para peneliti OpenAI. Pada hari Selasa, peneliti Anthropic, Jacob Coxon, mengundurkan diri dari jabatannya untuk menarik perhatian terhadap apa yang ia anggap sebagai pengembangan AI yang tidak bertanggung jawab, dan tampaknya hal itu berhasil.
Christiano akan bergabung dengan Komite Keselamatan dan Keamanan dewan direksi, yang dipimpin oleh Profesor Zico Kolter dari Universitas Carnegie Mellon. Komite ini memiliki kewenangan akhir dalam memutuskan apakah OpenAI akan merilis model-model baru, seperti Astra, yang diluncurkan pekan lalu. Kolter belum memberikan komentar secara terbuka mengenai insiden keamanan yang baru-baru ini terjadi. OpenAI belum menanggapi permintaan TechCrunch untuk mendapatkan pandangan Kolter mengenai pendekatan perusahaan terhadap keselamatan pasca insiden-insiden tersebut.
Christiano adalah salah satu tokoh di balik pembelajaran penguatan (reinforcement learning/RL) berdasarkan umpan balik manusia, sebuah teknik kunci untuk melatih model bahasa besar yang ia kembangkan saat bekerja di OpenAI. Ia meninggalkan laboratorium tersebut pada tahun 2021, dan kemudian mendirikan Alignment Research Center untuk fokus pada cara menentukan apakah suatu model AI dapat mengancam penciptanya yang manusia.
“Saat ini, kami melatih agen AI kami dengan RL untuk mendapatkan imbalan sebanyak mungkin,” tulisnya pada hari Rabu. “Sudah lama terlihat secara teoritis bahwa hal ini dapat memotivasi agen AI untuk melemahkan kendali manusia, mencari kekuasaan dan sumber daya, serta menutupi jejak mereka dalam mengejar tujuan yang tidak selaras yang berkorelasi dengan imbalan. Bukti publik dari insiden-insiden baru-baru ini menunjukkan bahwa ini bukan sekadar kemungkinan teoretis.”