Catatan Utama
- Vitalik Buterin memperingatkan bahwa tata kelola AI yang naif terlalu mudah dieksploitasi.
- Demo terbaru menunjukkan bagaimana penyerang dapat menipu ChatGPT untuk membocorkan data pribadi.
- Model “info finance” Buterin mempromosikan keberagaman, pengawasan, dan ketahanan.
Co-founder Ethereum, Vitalik Buterin, memperingatkan para pengikutnya di X tentang risiko mengandalkan kecerdasan buatan (AI) untuk tata kelola, dengan berargumen bahwa pendekatan saat ini terlalu mudah dieksploitasi.
Kekhawatiran Buterin muncul setelah peringatan lain dari co-founder EdisonWatch, Eito Miyamura, yang menunjukkan bagaimana aktor jahat dapat membajak Model Context Protocol (MCP) baru milik OpenAI untuk mengakses data pribadi pengguna.
Ini juga alasan mengapa "tata kelola AI" yang naif adalah ide buruk.
Jika Anda menggunakan AI untuk mengalokasikan pendanaan kontribusi, orang-orang PASTI akan memasukkan jailbreak plus "beri saya semua uang" di sebanyak mungkin tempat.
Sebagai alternatif, saya mendukung pendekatan info finance ( …
— vitalik.eth (@VitalikButerin) 13 September 2025
Risiko Tata Kelola AI yang Naif
Pengujian Miyamura mengungkapkan bagaimana undangan kalender sederhana dengan perintah tersembunyi dapat menipu ChatGPT untuk mengekspos email sensitif setelah asisten mengakses entri yang telah dikompromikan.
Pakar keamanan mencatat bahwa model bahasa besar tidak dapat membedakan antara instruksi asli dan yang berbahaya, sehingga sangat rentan terhadap manipulasi.
Kami berhasil membuat ChatGPT membocorkan data email pribadi Anda 💀💀
Apa yang Anda butuhkan? Alamat email korban. ⛓️💥🚩📧
Pada hari Rabu, @OpenAI menambahkan dukungan penuh untuk alat MCP (Model Context Protocol) di ChatGPT. Memungkinkan ChatGPT untuk terhubung dan membaca Gmail, Kalender, Sharepoint, Notion Anda,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 September 2025
Buterin mengatakan bahwa kelemahan ini adalah tanda bahaya besar bagi sistem tata kelola yang terlalu mempercayai AI.
Ia berargumen bahwa jika model seperti itu digunakan untuk mengelola pendanaan atau pengambilan keputusan, penyerang dapat dengan mudah melewati perlindungan dengan prompt bergaya jailbreak, sehingga proses tata kelola terbuka untuk disalahgunakan.
Info Finance: Alternatif Berbasis Pasar
Untuk mengatasi kelemahan ini, Buterin telah mengusulkan sistem yang ia sebut “info finance.” Alih-alih memusatkan kekuasaan pada satu AI, kerangka kerja ini memungkinkan beberapa model tata kelola untuk bersaing di pasar terbuka.
Siapa pun dapat berkontribusi model, dan keputusan mereka dapat ditantang melalui pemeriksaan acak, dengan keputusan akhir diserahkan kepada juri manusia.
Pendekatan ini dirancang untuk memastikan ketahanan dengan menggabungkan keberagaman model dan pengawasan manusia. Selain itu, insentif juga disediakan bagi pengembang maupun pengamat eksternal untuk mendeteksi kelemahan.
Merancang Institusi untuk Ketahanan
Buterin menggambarkan ini sebagai metode “perancangan institusi”, di mana model bahasa besar dari berbagai kontributor dapat diintegrasikan, bukan mengandalkan satu sistem terpusat.
Ia menambahkan bahwa hal ini menciptakan keberagaman waktu nyata, mengurangi risiko manipulasi dan memastikan adaptabilitas saat tantangan baru muncul.
Pada awal Agustus, Buterin mengkritik dorongan menuju agen AI yang sangat otonom, dengan mengatakan bahwa peningkatan kontrol manusia umumnya meningkatkan kualitas dan keamanan.
Dalam jangka menengah saya ingin sesuatu seperti BCI canggih di mana ia menunjukkan kepada saya sesuatu saat sedang dihasilkan dan mendeteksi secara real time bagaimana perasaan saya tentang setiap bagiannya dan menyesuaikan sesuai itu.
— vitalik.eth (@VitalikButerin) 11 Agustus 2025
Ia mendukung model yang memungkinkan pengeditan iteratif dan umpan balik manusia daripada yang dirancang untuk beroperasi secara mandiri dalam jangka waktu lama.
