Ключевые моменты
- Виталик Бутерин предупредил, что наивное управление с помощью искусственного интеллекта слишком легко поддается эксплуатации.
- Недавняя демонстрация показала, как злоумышленники могут заставить ChatGPT раскрывать личные данные.
- Модель «info finance» Бутерина способствует разнообразию, надзору и устойчивости.
Сооснователь Ethereum Виталик Бутерин предупредил своих подписчиков в X о рисках использования искусственного интеллекта (AI) для управления, утверждая, что текущие подходы слишком легко эксплуатируются.
Опасения Бутерина последовали за другим предупреждением со стороны сооснователя EdisonWatch Эйто Миямуры, который показал, как злоумышленники могут захватить новый Model Context Protocol (MCP) от OpenAI для получения доступа к личным данным пользователей.
Вот почему наивное "AI-управление" — плохая идея.
Если вы используете AI для распределения финансирования за вклад, люди ОБЯЗАТЕЛЬНО будут внедрять jailbreak и "дай мне все деньги" везде, где только смогут.
В качестве альтернативы я поддерживаю подход info finance ( …
— vitalik.eth (@VitalikButerin) 13 сентября 2025
Риски наивного AI-управления
Тест Миямуры показал, как простое приглашение в календаре со скрытыми командами может заставить ChatGPT раскрыть конфиденциальные электронные письма, как только ассистент получит доступ к скомпрометированной записи.
Эксперты по безопасности отметили, что большие языковые модели не могут отличить настоящие инструкции от вредоносных, что делает их крайне уязвимыми для манипуляций.
Мы заставили ChatGPT слить ваши личные данные электронной почты 💀💀
Что для этого нужно? Только адрес электронной почты жертвы. ⛓️💥🚩📧
В среду @OpenAI добавила полную поддержку инструментов MCP (Model Context Protocol) в ChatGPT. Теперь ChatGPT может подключаться и читать вашу Gmail, Calendar, Sharepoint, Notion,…
— Eito Miyamura | 🇯🇵🇬🇧 (@Eito_Miyamura) 12 сентября 2025
Бутерин заявил, что этот недостаток является серьезным сигналом опасности для систем управления, которые слишком сильно доверяют AI.
Он утверждает, что если такие модели будут использоваться для управления финансированием или принятием решений, злоумышленники смогут легко обойти защиту с помощью jailbreak-подобных подсказок, оставляя процессы управления открытыми для злоупотреблений.
Info Finance: рыночная альтернатива
Для устранения этих слабых мест Бутерин предложил систему, которую он называет «info finance». Вместо концентрации власти в одном AI, эта структура позволяет нескольким моделям управления конкурировать на открытом рынке.
Любой может внести свою модель, а их решения могут быть оспорены с помощью случайных проверок, при этом последнее слово остается за жюри из людей.
Этот подход призван обеспечить устойчивость за счет сочетания разнообразия моделей и человеческого надзора. Кроме того, предусмотрены стимулы как для разработчиков, так и для внешних наблюдателей для выявления недостатков.
Проектирование институтов для устойчивости
Бутерин описывает это как метод «institution design», при котором можно подключать большие языковые модели от разных участников, а не полагаться на одну централизованную систему.
Он добавил, что это создает разнообразие в реальном времени, снижая риск манипуляций и обеспечивая адаптивность по мере появления новых вызовов.
Ранее в августе Бутерин критиковал стремление к созданию полностью автономных AI-агентов, заявляя, что увеличение человеческого контроля обычно повышает как качество, так и безопасность.
В среднесрочной перспективе я хочу нечто вроде продвинутого BCI, где мне показывают результат по мере его генерации и в реальном времени определяют, как я отношусь к каждой его части, и корректируют соответствующим образом.
— vitalik.eth (@VitalikButerin) 11 августа 2025
Он поддерживает модели, которые позволяют итеративное редактирование и обратную связь от человека, а не те, что предназначены для автономной работы в течение длительных периодов.
