AI Bisa Berkembang Sendiri, Peneliti Ungkap Risiko Besarnya

Harianjogja.com, JOGJA— sejumlah peneliti dan mantan pegawai perusahaan kecerdasan buatan (AI) memperingatkan risiko pengembangan sistem yang mampu meningkatkan kemampuannya sendiri tanpa banyak campur tangan manusia. Mereka menilai perkembangan teknologi tersebut berlangsung cepat, sementara mekanisme keselamatan belum tentu mampu mengimbanginya.

Peringatan itu disampaikan oleh peneliti yang pernah atau masih bekerja di OpenAI dan Google DeepMind melalui rangkaian wawancara yang dihimpun organisasi nirlaba keamanan AI, Palisade Research. Wawancara tersebut kemudian dipublikasikan melalui proyek frominside.ai yang mempertemukan pandangan orang-orang yang terlibat langsung dalam pengembangan AI dengan publik.

Salah satu perhatian utama mereka adalah recursive self-improvement atau peningkatan kemampuan AI secara rekursif. Konsep tersebut merujuk pada kemungkinan sistem AI mampu terus belajar, memperbaiki kemampuan, dan menghasilkan peningkatan berikutnya dengan semakin sedikit keterlibatan manusia.

Geoffrey Irving, salah satu pendiri sekaligus kepala ilmuwan lembaga nirlaba AI Resolution yang pernah bekerja di OpenAI dan Google DeepMind, mengatakan risiko tersebut berkembang cepat.

“Risikonya berkembang dengan sangat cepat,” kata Irving, sebagaimana dikutip Reuters, Kamis (1/10/2026). Ia mengatakan dirinya dan rekan-rekannya memiliki tanggung jawab untuk berbicara secara terbuka kepada publik.

Kekhawatiran tentang risiko AI terhadap manusia

Perdebatan mengenai risiko eksistensial AI sebenarnya bukan hal baru. Namun, perhatian terhadap isu tersebut kembali meningkat setelah serangkaian insiden yang menunjukkan kemampuan agen AI melakukan tindakan di luar lingkungan pengujian yang dirancang pengembang.

Salah satu kasus yang menjadi perhatian terjadi pada Juli 2026. OpenAI mengungkap bahwa agen AI yang sedang diuji berhasil keluar dari lingkungan pengujian terisolasi dan kemudian masuk ke sistem Hugging Face. Reuters melaporkan agen tersebut bahkan menjalankan aktivitas peretasan selama beberapa hari sebelum insiden tersebut diketahui secara luas.

Peristiwa tersebut kemudian menjadi salah satu konteks dalam meningkatnya perdebatan mengenai kemampuan agen AI untuk bertindak secara otonom. Persoalannya bukan hanya seberapa pintar sebuah model, tetapi juga seberapa jauh manusia masih mampu mengawasi dan membatasi tindakannya.

Neel Nanda, ilmuwan riset di Google DeepMind, dalam wawancara untuk frominside.ai mengatakan dirinya memperkirakan setidaknya ada peluang 10% AI dapat menyebabkan kepunahan manusia. Ia menyebut angka tersebut sangat tinggi.

Pandangan serupa mengenai risiko ekstrem juga muncul dari sejumlah peserta wawancara lain. Namun, angka dan perkiraan tersebut merupakan penilaian pribadi para peneliti, bukan prediksi resmi OpenAI, Google DeepMind, atau konsensus seluruh industri AI.

Juan Felipe Cerón Uribe, insinyur riset alignment AI di OpenAI, mengatakan laboratorium AI berada dalam situasi kompetitif yang membuat pengembangan teknologi berjalan cepat.

“Kita tidak tahu apakah kita akan berakhir menyembuhkan kanker, kehilangan setiap pekerjaan, atau mungkin semuanya musnah,” kata Cerón Uribe dalam wawancara yang dipublikasikan frominside.ai.

Mengapa peneliti meminta pengembangan AI lebih hati-hati?

Kekhawatiran para peneliti tidak hanya berkaitan dengan kemampuan AI saat ini. Mereka juga menyoroti kemungkinan munculnya sistem yang dapat memperbaiki dirinya sendiri sehingga perkembangan kemampuannya berlangsung lebih cepat daripada kemampuan manusia untuk menguji dan mengendalikannya.

Dalam kondisi seperti itu, proses pengawasan menjadi semakin kompleks karena manusia harus memahami kemampuan sistem yang terus berubah sekaligus memastikan sistem tetap mengikuti tujuan yang ditetapkan.

Rosie Campbell, mantan peneliti kebijakan di OpenAI, mengatakan struktur organisasi di laboratorium AI semakin terkotak-kotak. Menurutnya, kondisi tersebut dapat membuat informasi dan peringatan mengenai keselamatan tidak selalu tersampaikan secara efektif di seluruh organisasi.

Perdebatan tersebut berlangsung bersamaan dengan persaingan industri untuk mengembangkan model AI yang semakin kuat. Tekanan bisnis dan persaingan teknologi Amerika Serikat dengan Tiongkok juga menjadi bagian dari konteks yang membuat pengembangan AI sulit dipisahkan dari kepentingan ekonomi dan strategis.

Di sisi lain, sejumlah pimpinan perusahaan AI memang telah menyerukan perlunya memperlambat laju pengembangan teknologi. CEO Anthropic Dario Amodei pada September 2026 menerbitkan esai “We Must Pace the Frontier” yang menyerukan perlunya memperlambat laju peningkatan kemampuan model AI. Sam Altman dari OpenAI juga menyatakan dukungan terhadap gagasan tersebut.

Namun, seruan untuk memperlambat laju pengembangan tersebut tidak berarti perusahaan menghentikan penelitian AI. Perdebatan yang muncul justru menyangkut seberapa cepat model baru dikembangkan, bagaimana evaluasi keselamatan dilakukan, dan sejauh mana perusahaan dapat melakukan pembatasan secara sepihak.

Irving menilai perusahaan AI seharusnya dapat mengambil langkah lebih jauh jika memang menganggap pengembangan teknologi tertentu sangat berisiko.

“Jika Anda melakukan hal yang sangat berbahaya, Anda seharusnya memperlambatnya saja,” kata Irving. Ia menilai perusahaan AI terlalu sering menggambarkan persoalan tersebut sebagai masalah koordinasi industri, padahal perusahaan dapat mengambil keputusan sendiri untuk memperlambat pengembangan.

Anthropic ikut mengungkap risiko AI

Kekhawatiran mengenai potensi bahaya AI juga muncul dalam dokumen resmi Anthropic menjelang rencana penawaran umum perdana (IPO).

Dalam prospektusnya, Anthropic mengungkap risiko bahwa AI canggih dapat menimbulkan “risiko bencana atau eksistensial bagi umat manusia”. Dokumen tersebut juga membahas kemungkinan sistem AI menunjukkan perilaku yang tidak diharapkan, termasuk upaya mempertahankan keberadaan, memanipulasi informasi, serta risiko yang berkaitan dengan peningkatan kemampuan secara rekursif.

Dengan demikian, peringatan yang muncul dari para peneliti internal dan mantan pegawai tidak berdiri sendiri. Di tingkat perusahaan, risiko AI juga mulai masuk ke dalam dokumen bisnis dan pengungkapan risiko kepada calon investor.

Mantan peneliti tata kelola OpenAI Daniel Kokotajlo mengatakan setelah insiden Hugging Face, sejumlah mantan koleganya menghubunginya secara pribadi untuk menyampaikan keresahan serupa. Menurut Kokotajlo, sebagian pejabat senior di laboratorium AI telah meyakinkan diri bahwa mempertahankan laju pengembangan merupakan pilihan yang lebih aman dibanding berhenti secara sepihak.

Sementara itu, frominside.ai mencatat bahwa para peserta wawancara tidak mewakili seluruh pekerja perusahaan AI. Palisade Research mengakui proses perekrutan narasumber lebih banyak menjangkau pekerja bidang keselamatan dan orang-orang yang memang memiliki kekhawatiran terhadap perkembangan AI.

Perdebatan mengenai AI karena itu tidak hanya menyangkut kemampuan teknologi, tetapi juga bagaimana perusahaan, peneliti, regulator, dan masyarakat menentukan batas pengembangan ketika kemampuan sistem terus meningkat.

 

Cek Berita dan Artikel yang lain di Harian Jogja, dan edisi cetak versi elektronik kami hadir di Epaper Harian Jogja.