10 рисков безопасности, о которых нужно знать при использовании ИИ на работе

К середине 2025 года искусственный интеллект больше не будет футуристической концепцией на рабочем месте. Он встроен в ежедневные рабочие процессы в маркетинге, юриспруденции, инжиниринге, поддержке клиентов, HR и т. д. Модели ИИ теперь помогают составлять документы, генерировать отчеты, кодировать и даже автоматизировать внутреннюю чат-поддержку. Но по мере того, как растет зависимость от ИИ, растет и ландшафт рисков.

Отчет По прогнозам Cybersecurity Ventures, к 10.5 году глобальные расходы на киберпреступность достигнут 2025 триллионов долларов США , что отражает 38%-ный годовой рост нарушений, связанных с ИИ, по сравнению с предыдущим годом. Тот же источник оценивает, что около 64% ​​корпоративных команд используют генеративный ИИ в той или иной степени, в то время как только 21% этих организаций имеют формальные политики обработки данных.

Эти цифры — не просто шумиха в отрасли — они указывают на растущую подверженность масштабу. Поскольку большинство команд по-прежнему полагаются на общедоступные или бесплатные инструменты ИИ, потребность в осведомленности о безопасности ИИ становится все более острой.

Ниже приведены 10 критических рисков безопасности, с которыми сталкиваются команды при использовании ИИ на работе. В каждом разделе объясняется природа риска, как он работает, почему он представляет опасность и где он чаще всего появляется. Эти угрозы уже затрагивают реальные организации в 2025 году.

Утечка входных данных через подсказки

Одна из самых частых уязвимостей безопасности начинается на первом этапе: в самом запросе. В отделах маркетинга, кадров, юридических отделах и отделах обслуживания клиентов сотрудники часто вставляют конфиденциальные документы, письма клиентов или внутренний код в инструменты ИИ для быстрого составления ответов. Хотя это кажется эффективным, большинство платформ хранят по крайней мере часть этих данных на внутренних серверах, где они могут регистрироваться, индексироваться или использоваться для улучшения моделей. Согласно В отчете Varonis за 2025 год указано, что 99% компаний признались в передаче конфиденциальных или клиентских данных ИИ. услуги без применения внутреннего контроля безопасности.

Когда данные компании попадают на сторонние платформы, они часто подвергаются политикам хранения и доступу персонала, которые многие компании не полностью контролируют. Даже «частные» режимы могут хранить фрагменты для отладки. Это повышает юридические риски, особенно в соответствии с GDPR, HIPAA и аналогичными законами. Чтобы уменьшить воздействие, компании теперь используют фильтры для удаления конфиденциальных данных перед отправкой их в инструменты ИИ и устанавливают более четкие правила относительно того, чем можно делиться.

Скрытое хранение данных в журналах ИИ

Многие службы ИИ ведут подробные записи пользовательских подсказок и выходных данных даже после того, как пользователь их удаляет. Отчет Thales об угрозах данным за 2025 год принят к сведению что 45% организаций столкнулись с инцидентами безопасности, связанными с сохранением данных в журналах ИИ.

Это особенно важно в таких секторах, как финансы, юриспруденция и здравоохранение, где даже временная запись имен, данных счетов или историй болезни может нарушить соглашения о соответствии. Некоторые компании полагают, что удаления данных на front-end достаточно; на самом деле back-end-системы часто хранят копии в течение нескольких дней или недель, особенно при использовании для оптимизации или обучения.

Команды, стремящиеся избежать этой ловушки, все чаще обращаются к корпоративным планам со строгими соглашениями о хранении данных и внедряют инструменты, подтверждающие удаление внутренних данных, вместо того чтобы полагаться на неопределенные переключатели на панели управления с надписью «удалить историю».

Дрейф модели посредством обучения на конфиденциальных данных

В отличие от традиционного программного обеспечения, многие платформы ИИ улучшают свои ответы, обучаясь на основе пользовательского ввода. Это означает, что подсказка, содержащая уникальный юридический язык, стратегию клиента или фирменный код, может повлиять на будущие результаты, предоставляемые не связанным с ними пользователям. Индекс ИИ Стэнфордского университета 2025 показал рост на 56% по сравнению с прошлым годом в зарегистрированных случаях, когда данные, специфичные для компании, непреднамеренно всплывали в выходных данных в других местах.

В отраслях, где конкурентное преимущество зависит от интеллектуальной собственности, даже небольшие утечки могут нанести ущерб доходам и репутации. Поскольку обучение происходит автоматически, если специально не отключено, многим компаниям теперь требуются локальные развертывания или изолированные модели, которые не сохраняют пользовательские данные или не обучаются на основе конфиденциальных входных данных.

Фишинг и мошенничество, созданные искусственным интеллектом

ИИ сделал фишинговые атаки более быстрыми, убедительными и гораздо более сложными для обнаружения. В 2025 году DMARC сообщил о всплеске на 4000% в фишинговых кампаниях, созданных с помощью искусственного интеллекта, многие из которых использовали подлинные внутренние языковые шаблоны, собранные из утекших или публичных данных компаний. Согласно По данным Hoxhunt, в этом году количество мошеннических действий с использованием голосовых подделок выросло на 15% , при этом средний ущерб от одной атаки приближается к 4.88 млн долларов.

Эти атаки часто имитируют речевые модели и стили общения руководителей настолько точно, что традиционные тренинги по безопасности больше не останавливают их. Чтобы защитить себя, компании расширяют инструменты голосовой верификации, внедряют вторичные каналы подтверждения для высокорисковых одобрений и обучают персонал отмечать подозрительный язык, даже если он выглядит отточенным и безошибочным.

Слабый контроль над частными API

В спешке по развертыванию новых инструментов многие команды подключают модели ИИ к таким системам, как панели мониторинга или CRM, используя API с минимальной защитой. Эти интеграции часто упускают из виду ключевые практики, такие как ротация токенов, ограничения скорости или разрешения для конкретных пользователей. Если токен утекает — или его угадают — злоумышленники могут перекачать данные или манипулировать подключенными системами, прежде чем кто-либо это заметит.

Этот риск не теоретический. Недавний Исследование Akamai показало, что 84% экспертов по безопасности сообщили об инциденте безопасности API. за последний год. И почти половина организаций столкнулась с утечками данных из-за раскрытия API-токенов. В одном случае исследователи В публичных репозиториях обнаружено более 18,000 XNUMX раскрытых секретов API .

Поскольку эти API-мосты работают тихо в фоновом режиме, компании часто замечают нарушения только после странного поведения в аналитике или записях клиентов. Чтобы остановить это, ведущие компании ужесточают контроль, применяя короткие сроки действия токенов, проводя регулярные тесты на проникновение на конечных точках, подключенных к ИИ, и ведя подробные журналы аудита всей активности API.

Внедрение теневого ИИ в команды

К 2025 году несанкционированное использование ИИ, известное как «теневой ИИ», стало широко распространенным. Исследование Zluri показало, что 80% предприятий используют искусственный интеллект происходит с помощью инструментов, не одобренных ИТ-отделами.

Сотрудники часто обращаются к загружаемым расширениям браузера, генераторам low-code или публичным чат-ботам AI для удовлетворения непосредственных потребностей. Эти инструменты могут отправлять внутренние данные на непроверенные серверы, не иметь шифрования или собирать журналы использования, скрытые от организации. Без видимости того, какие данные передаются, компании не могут обеспечить соблюдение или поддерживать контроль.

Чтобы бороться с этим, многие компании теперь внедряют решения внутреннего мониторинга, которые помечают неизвестные сервисы. Они также ведут курируемые списки одобренных инструментов ИИ и требуют от сотрудников взаимодействовать только через санкционированные каналы, которые сопровождают безопасные среды.

Быстрая инъекция и манипулируемые шаблоны

Инъекция подсказок происходит, когда кто-то встраивает вредоносные инструкции в общие шаблоны подсказок или внешние входные данные — скрытые в законном тексте. Например, подсказка, предназначенная для «обобщения последнего клиентского письма», может быть изменена для извлечения целых историй веток или непреднамеренного раскрытия конфиденциального контента. В рейтинге OWASP 2025 GenAI Security Top 10 ведущей уязвимостью названа быстрая инъекция , предупреждая, что вводимые пользователем данные, особенно в сочетании с внешними данными, могут легко переопределять системные инструкции и обходить меры безопасности.

Организации, которые полагаются на внутренние библиотеки подсказок без надлежащего надзора, рискуют каскадными проблемами: нежелательное раскрытие данных, вводящие в заблуждение выходные данные или поврежденные рабочие процессы. Эта проблема часто возникает в системах управления знаниями и автоматизированных ответах клиентов или юристов, построенных на шаблонах подсказок. Для борьбы с этой угрозой эксперты рекомендуют применять многоуровневый процесс управления: централизованно проверять все шаблоны подсказок перед развертыванием, дезинфицировать внешние входные данные, где это возможно, и тестировать подсказки в изолированных средах, чтобы гарантировать, что никакие скрытые инструкции не проскользнут.

Проблемы соответствия из-за непроверенных выходных данных

Генеративный ИИ часто выдает отполированный текст, однако эти результаты могут быть неполными, неточными или даже не соответствовать правилам. Это особенно опасно в сфере финансов, права или здравоохранения, где незначительные ошибки или вводящий в заблуждение язык могут привести к штрафам или ответственности.

Согласно Согласно исследованию ISACA за 2025 год, 83% предприятий сообщают о повседневном использовании генеративного ИИ , но только 31% имеют формальные внутренние политики ИИ. Тревожно, что 64% ​​специалистов выразили серьезную обеспокоенность по поводу злоупотреблений, однако только 18% организаций инвестируют в меры защиты, такие как обнаружение дипфейков или проверки соответствия.

Поскольку модели ИИ не понимают юридических нюансов, многие компании теперь требуют человеческого соответствия или юридической проверки любого контента, созданного ИИ, перед его публичным использованием. Этот шаг гарантирует соответствие заявлений нормативным стандартам и позволяет избежать введения в заблуждение клиентов или пользователей.

Риски сторонних плагинов

Многие платформы ИИ предлагают сторонние плагины, которые подключаются к электронной почте, календарям, базам данных и другим системам. Эти плагины часто не имеют строгих проверок безопасности, и Отчет Check Point Research по безопасности ИИ за 2025 год показал, что 1 из каждых 80 запросов ИИ несет высокий риск утечки конфиденциальные данные — часть этого риска возникает из-за взаимодействий с помощью плагинов. Check Point также предупреждает, что несанкционированные инструменты ИИ и неправильно настроенные интеграции входят в число основных новых угроз целостности корпоративных данных.

При установке без проверки плагины могут получить доступ к вашим подсказкам ввода, вывода и связанным учетным данным. Они могут отправлять эту информацию на внешние серверы за пределами корпоративного надзора, иногда без шифрования или надлежащего журналирования доступа.

Некоторые компании теперь требуют проверки плагинов перед их развертыванием, допускают только плагины из белого списка и отслеживают передачу данных, связанную с активными интеграциями ИИ, чтобы гарантировать, что никакие данные не покидают контролируемые среды.

Отсутствие управления доступом к инструментам ИИ

Многие организации полагаются на общие учетные записи ИИ без разрешений для конкретных пользователей, что делает невозможным отслеживание того, кто отправлял какие запросы или получал доступ к каким результатам. Отчет Varonis за 2025 год, анализирующий 1,000 облачных сред обнаружили, что 98 % компаний использовали непроверенные или неавторизованные приложения ИИ, а 88 % поддерживали пользователей-призраков с сохраняющимся доступом к конфиденциальным системам (источник). Эти результаты подчеркивают, что почти все компании сталкиваются с пробелами в управлении, которые могут привести к неотслеживаемым утечкам данных.

Если индивидуальный доступ не отслеживается, внутреннее неправомерное использование данных — случайное или злонамеренное — часто остается незамеченным в течение длительного времени. Общие учетные данные размывают ответственность и усложняют реагирование на инциденты при возникновении нарушений. Чтобы решить эту проблему, компании переходят на платформы ИИ, которые обеспечивают детальные разрешения, журналы активности на уровне подсказок и атрибуцию пользователей. Этот уровень контроля позволяет обнаруживать необычное поведение, быстро отменять неактивный или несанкционированный доступ и отслеживать любую активность данных до конкретного человека.

Что делать сейчас

Посмотрите, как ваши команды на самом деле используют ИИ каждый день. Составьте карту, какие инструменты обрабатывают конфиденциальные данные, и посмотрите, кто может получить к ним доступ. Установите четкие правила для того, чем можно поделиться с системами ИИ, и составьте простой контрольный список: чередуйте токены API, удалите неиспользуемые плагины и убедитесь, что любой инструмент, хранящий данные, имеет реальные возможности удаления. Большинство нарушений происходит, потому что компании предполагают, что «кто-то еще наблюдает». На самом деле безопасность начинается с небольших шагов, которые вы делаете сегодня.