Интеграция искусственного интеллекта (ИИ) в повседневные рабочие процессы становится всё более значительной, повышая степень автоматизации задач, увеличивая эффективность бизнес-процессов, и в то же время увеличивая риски для информационной безопасности.
Консалтинговая компания Accenture провела глобальное исследование, посвященное устойчивости к угрозам кибербезопасности в 2025 году. В исследовании приняли участие около 3000 респондентов из испанских, индийский, африканских и т.д. компаний с глобальным доходом более 1 млрд. долларов. Среди них 80% — директора по информационной безопасности и 20% — директора по информационным технологиям.
В исследовании компания показывает, что искусственный интеллект стал ключевым элементом как защиты, так и новых угроз. Эксперты считают GenAI (генеративный искусственный интеллект) катализатором следующих рисков:
— роста количества целевых атак (АРТ), включая использования фишинга и вымогательств. Результатом часто становятся утечки конфиденциальных данных и потеря доверия клиентов. Согласно данным WEF Global Cybersecurity Outlook 2025 года, более 45% респондентов обеспокоены растущими возможностями киберпреступников, повышающими уязвимость организаций;
— утечки данных (Data leaks). При систематизации и анализе генеративные алгоритмы обрабатывают большое количество внутренних корпоративных данных, в том числе документы, которые содержат клиентскую информацию или интеллектуальную собственность. Слабые механизмы контроля могут привести к утечке этих сведений. В опросе WEF эта проблема занимает второе место, набрав 22%;
— угрозы безопасности моделей ИИ (AI System Security). Алгоритмы машинного обучения постоянно находятся под угрозой несанкционированного вмешательства, которое происходит с помощью умышленного внесения некорректных данных. Такой вид воздействия может привести к тому, что модель будет делать предвзятые выводы и приводить ошибочные данные. Последствия такого вмешательства могут быть катастрофическими для компаний: принятие неверных решений руководством, появление возможностей для финансовых махинаций, а также возможна фальсификация отчётных показателей.
Безопасность моделей является одним из аспектов, который приводится WEF и беспокоит 17% респондентов. Все перечисленные проблемы тесно переплетены друг с другом. Так, утечка данных может спровоцировать юридические иски или нанести удар по цепочкам поставок, что приведет к ухудшению доверия к организациям и их продуктам.
Кроме того, генеративные модели искусственного интеллекта помогают злоумышленникам успешно маскироваться под первых лиц компании, создавая подделки голосовых сообщений, видеороликов и писем. Благодаря способности обрабатывать большое количество данных внутри самой корпоративной сети преступники получают мощный инструмент для социального инжиниринга, обманывая сотрудников. Отдельную угрозу представляют дипфейки – синтезированные аудио и видео, которые используются для целевых атак на сотрудников. Злоумышленники применяют многоходовые сценарии социальной инженерии, создавая ситуации, где верификация подлинности контента становится практически невозможной. По данным исследования, активность продаж инструментов для создания дипфейков на специализированных форумах даркнета выросла на 223% всего лишь за один год, с 2023 по 2024 гг. Рост этих угроз требует пересмотра подходов к обучению и выстраиванию комплексной защиты.
Современные ИИ-агенты, обученные на колоссальных массивах данных, способны не только выполнять сложные задачи, но и собирать информацию о своих пользователях, что создаёт ряд существенных рисков для информационной безопасности. В процессе обработки запросов пользователей ИИ-агенты могут сохранять и анализировать информацию, в том числе конфиденциальные данные о компании, клиентах, проектах и технологиях. Дальнейшая судьба этих данных в случае утечки часто остаётся вне зоны контроля пользователя.
Используя нейросети для решения рабочих задач, сотрудники неосознанно предоставляют информацию о своих должностных обязанностях, текущих проектах и используемых технологиях. Это позволяет сформировать подробный цифровой профиль сотрудника и организации, который может быть использован для целенаправленных фишинговых атак, социальной инженерии или промышленного шпионажа. Прямое подключение нейросетей к корпоративным системам и базам данных может привести к несанкционированному доступу к конфиденциальной информации, особенно в случае компрометации ИИ-агента или учётной записи сотрудника. Использование ИИ-агентов для автоматизации разработки программного обеспечения может привести к появлению в коде незамеченных уязвимостей, которые могут быть использованы для взлома системы. Непредсказуемое раскрытие информации: в ответ на некорректно сформулированные запросы нейросети могут непреднамеренно раскрыть конфиденциальную информацию, например технические характеристики, сведения о ценах или данные о клиентах.
Как предотвратить утечку конфиденциальных данных при использовании инструментов искусственного интеллекта
- Установите чёткие правила и ограничения на использование ИИ-агентов при работе с конфиденциальной информацией.
- Утвердите список ИИ-агентов, разрешённых к использованию в компании.
- Разработайте механизмы контроля за соблюдением правил использования нейросетей.
- Четко разделите зоны ответственности: используйте нейросеть только для решения задач, не связанных с обработкой конфиденциальной информации, например для мозгового штурма, создания общих текстов или поиска информации в открытом доступе.
- Не устанавливайте расширения с ИИ-агентами в корпоративные браузеры и почтовые клиенты.
- Не допускайте доступа ИИ-агентов к корпоративным базам данных, файловым хранилищам и другим системам, содержащим важную информацию.
- Ограничьте доступ к конфиденциальной информации, предоставив его только тем сотрудникам, которым она действительно необходима.
- Внедрите системы мониторинга сетевого трафика для отслеживания попыток передачи данных ИИ-агентам.
- Ограничьте использование ИИ-агентов при разработке критически важного кода.
- Регулярно обучайте сотрудников правилам безопасного использования ИИ-агентов, разработайте памятки (наш вариант ниже).
Памятка для сотрудников
- При подозрении на утечку информации из-за использования нейросети немедленно сообщите об этом ответственным лицам.
- Не используйте ИИ-агентов для работы с коммерческой тайной, персональными данными, финансовыми документами и другой конфиденциальной информацией.
- Ни при каких обстоятельствах не вводите в ИИ-агента пароли, номера банковских карт, персональные идентификаторы и другие конфиденциальные данные.
- Ваши примеры и запросы к ИИ-агентам не должны содержать даже намека на конфиденциальную информацию. Заменяйте реальные данные вымышленными.
- Старайтесь формулировать вопросы так, чтобы не раскрывать подробностей о конкретных проектах, клиентах или используемых технологиях.
- Если вы заметили странное поведение ИИ-агента (необычные запросы, неожиданные ответы, запросы на доступ к вашим данным), немедленно сообщите об этом своему руководителю или в отдел информационной безопасности.
