Sinabi ng Co-Founder ng Ethereum na si Vitalik Buterin na maaaring mabawasan ng Info Finance ang mga panganib habang maaaring mag-leak ng data ang ChatGPT jailbreaks

• Ang simpleng AI governance ay madaling manipulahin at ma-jailbreak.

• Ang info finance na may kasamang human juries at spot-checks ay maaaring makadetect ng manipulasyon nang maaga.

• Ipinapakita ng mga ChatGPT jailbreak demo kung paano maaaring ma-expose ang pribadong datos gamit ang mga konektadong tool sa loob lamang ng ilang minuto.

Ang mga panganib sa AI governance ay nagbabanta sa crypto funding at kaligtasan ng datos; alamin kung paano makakatulong ang info finance at jury oversight upang mabawasan ang manipulasyon — basahin ang mga praktikal na hakbang ngayon.

Published: September 13, 2025

Ano ang AI governance risk sa crypto?

Ang AI governance risk ay tumutukoy sa mga pagkabigo sa mga sistema na nagpapahintulot sa mga AI-driven na tool na gumawa ng mga desisyong pinansyal o pamamahala nang walang sapat na pagsusuri. Ang mga simpleng implementasyon ay maaaring manipulahin sa pamamagitan ng jailbreaks o mapanlinlang na signal, na nagreresulta sa hindi patas na alokasyon ng pondo at pagtagas ng datos maliban kung may human oversight at iba-ibang insentibo na nakapaloob.

Paano iminungkahi ni Vitalik Buterin ang info finance bilang alternatibo?

Iminumungkahi ni Vitalik Buterin ang isang “info finance” na modelo kung saan ang open model markets ay pinapartneran ng human juries at spot-checks. Ang pamamaraang ito ay lumilikha ng diversified na kompetisyon ng mga modelo at ina-align ang mga insentibo upang ang mga creator ng modelo at mga speculator ay magbantay sa mga resulta, na nagpapadali upang matukoy ang goodharting at iba pang taktika ng manipulasyon.

Paano maaaring ma-expose ng ChatGPT jailbreaks ang user data?

Ipinakita ng security researcher na si Eito Miyamura na ang mga simpleng jailbreak prompt na nakalagay sa calendar invites o iba pang input ay maaaring magpaniwala sa mga ChatGPT-connected na tool upang ibunyag ang pribadong datos. Kailangan lamang ng attacker ng basic na contextual data (halimbawa, email address) upang makagawa ng prompt na magpapabago ng kilos ng agent at mag-extract ng sensitibong impormasyon.

Ano ang mga kahinaan na nagpapagana sa mga jailbreak na ito?

Kadalasan, ang mga konektadong AI tool ay sumusunod sa mga tahasang utos nang walang common-sense na pagsala. Ayon kay Miyamura, “Ang mga AI agent tulad ng ChatGPT ay sumusunod sa iyong utos, hindi sa iyong common sense.” Kapag ang mga agent ay may pahintulot na basahin ang calendars, emails, o iba pang personal na datos, maaaring pilitin ng mga malisyosong prompt ang mga ito na mag-leak ng nilalaman o gumawa ng aksyon para sa attacker.

Kailan dapat manghimasok ang human juries sa AI-driven governance?

Dapat manghimasok ang human juries kapag ang ground-truth, pangmatagalang pampublikong benepisyo, o mga desisyong may mataas na halaga ng pondo ay nakataya. Binanggit ni Buterin na mahalaga ang trusted ground-truth signals at na ang mga juror na tinutulungan ng LLMs ay maaaring mag-adjudicate ng mga ambiguous o manipulated na signal nang mas maaasahan kaysa sa mga purong algorithmic na sistema.

Paano mababawasan ang AI governance at data-exposure risks?

Ang mga praktikal na pananggalang ay pinagsasama ang mekanismo ng merkado, human oversight, at teknikal na limitasyon sa access ng agent sa pribadong datos. Narito ang mga maikli at praktikal na hakbang na maaaring gawin ng mga organisasyon ngayon.

1. I-limit ang pribilehiyo ng agent: higpitan ang access sa datos at hingin ang malinaw na pahintulot para sa sensitibong aksyon.
2. Spot-check ng mga modelo: magpatupad ng random audits at human jury review sa automated na desisyon.
3. Insentibahin ang diversity: magpatakbo ng magkakumpitensyang modelo sa open markets upang makita ang mga pagtatangkang manipulahin.
4. Palakasin ang input: linisin ang external content (calendar invites, attachments) bago gamitin ng agent.
5. Magmonitor para sa goodharting: subaybayan ang adoption signals at mga anomalya na nagpapahiwatig ng mapanlinlang na kilos.

Mga Madalas Itanong

Gaano ka-urgent ang mga panganib mula sa ChatGPT jailbreaks?

Ipinapakita ng mga naiulat na jailbreaks ang agarang panganib: maaaring gumawa ang mga attacker ng prompt upang mag-extract ng datos sa loob lamang ng ilang minuto kung may live access ang agent sa user accounts. Dapat ituring ito ng mga organisasyon bilang high-priority na banta at agad na limitahan ang pribilehiyo ng agent.

Bakit inirerekomenda ang human juries kaysa purong automation?

Nagbibigay ang human juries ng mapagkakatiwalaang ground-truth signal at contextual judgment na wala sa LLMs. Kapag tinulungan ng LLMs para sa efficiency, maaaring suriin ng juries ang pangmatagalang katotohanan at makita ang mga peke o fabricated adoption signals na hindi napapansin ng automated systems.

Mahahalagang Punto

• Mapanganib ang simpleng AI governance: Madaling manipulahin gamit ang jailbreaks at mapanlinlang na insentibo.
• Ang info finance ay praktikal na alternatibo: Ang open model markets na may spot-checks ay nagpapataas ng resilience.
• Agad na aksyon: Limitahan ang pribilehiyo ng agent, magsagawa ng audit, at gumamit ng human juries na tinutulungan ng LLMs.

Konklusyon

Ang AI governance ay nasa isang mahalagang yugto: ang mga simpleng disenyo ay nagbabanta sa pondo at privacy, habang ang mga alternatibong framework tulad ng info finance na pinagsama sa human juries ay nag-aalok ng mas matibay na depensa. Dapat magpatupad ang mga stakeholder ng access limits, tuloy-tuloy na audit, at incentive-aligned na merkado upang maprotektahan ang governance ngayon at makabuo ng mas transparent na sistema sa hinaharap.