Угрозы, связанные с искусственным интеллектом, — уже не фантастика, а обыденность: бизнес-дипфейки, отравление данных, SQL-инъекции стали новыми инструментами в руках злоумышленников. О защите корпоративных систем в эпоху ИИ рассказывают директор департамента кибербезопасности IBS Олег Босенко и начальник отдела разработки сервисов кибербезопасности Владимир Мукасеев.
Искусственный интеллект может работать круглосуточно и без перерывов, у него нет необходимости отвлекаться на личные дела, но самое главное — в отличие от человека ИИ действует без эмоций и моральных ограничений. Он просто выполняет заложенные в него алгоритмы.
ИИ повышает систематичность атак и позволяет корректировать их сценарии в реальном времени, адаптируя к ситуации. Это делает атаки более продуманными и комплексными. Например, первая атака может использоваться как маскировка для более сложных действий.
В то же время атаки с использованием ИИ требуют значительных вычислительных и энергозатратных ресурсов, что пока затрудняет их реализацию. Кроме того, сейчас они в основном сосредоточены на внешнем периметре. Лишь в редких случаях ИИ используется внутри системы, например, для сбора информации с помощью роботов.
Положительным моментом является и то, что атаки на основе ИИ пока имеют определенную повторяемость и шаблонность. Это дает возможность предсказать развитие атаки. Алгоритмы ИИ действуют согласно заранее заданному сценарию и только в случае изменения ситуации начинают адаптироваться и обучаться. У ИИ нет человеческой интуиции, которая подсказывала бы, когда нужно изменить порядок действий.
Выстраивание системы защиты от угроз ИИ всегда начинается с аудита. Необходимо понять, что именно нужно защищать, от чего и как.
Можно выделить пять ключевых задач, которую решаются в рамках аудита. Первая задача — обследование ИТ- и ИБ-инфраструктуры, включая оценку влияния ИИ как извне, так и изнутри. Для этого проводится исследование защищаемой инфраструктуры, которое включает в себя тестирование на проникновение и интервью с разработчиками и инженерами, отвечающими за безопасность системы. Оно позволяет выявить уязвимости и оценить реальную защищенность системы. Вторая задача — определение критичных информационных активов и обеспечиваемых ими критичных процессов. Третья — анализ этих активов и процессов на наличие актуальных угроз, связанных с применением ИИ. Четвертая — оценка рисков ИБ, связанных с использованием ИИ. Пятая — составление отчета с перечнем угроз и рисков для инфраструктуры и процессов компании.
Типовые атаки основаны на известных уязвимостях, но теперь для их реализации используется ИИ.
Из-за доступности технологий количество и качество типовых атак растет. Раньше при создании вредоносных программ много времени уходило на разработку и тестирование. С появлением больших языковых моделей этот процесс стал проще, а сами разработки — более сложными. Например, такие программы могут скрывать свою сигнатуру от антивирусов. Другой пример — ПО через фишинг проникает в корпоративную систему, проводит ее обследование и за счет этого начинает обходить средства защиты.
Благодаря ИИ злоумышленники могут использовать в своих целях любую уязвимость, поэтому нужно максимально защищать информационные системы компании, как с технической, так и с организационной стороны.
Использование технологий машинного обучения (ML), языковых моделей (LLM) и баз данных может повышать уязвимость корпоративных систем. Одна из главных проблем заключается в трудностях аудита безопасности таких технологий, т.к. они функционируют по принципу «черного ящика»: как модели принимают решения, понять сложно. Помимо этого, уязвимость в одном компоненте (например, отравление данных в базе) может распространиться на другие компоненты.
Злоумышленники могут совершать атаки:
Согласно исследованиям, достаточно контролировать 0,01% набора данных, чтобы «отравить» модель и заставить ее принимать неверные решения.
Атаки на ML-модели могут привести к значительным финансовым, репутационным, операционным и юридическим ущербам. Например, из-за искажения прогнозов или нарушения законодательства о защите персональных данных.
Методология MLOps объединяет практики машинного обучения и разработки программного обеспечения (DevOps) для автоматизации и упрощения жизненного цикла моделей. Однако с этим подходом связаны и определенные риски: снижение точности моделей из-за изменений данных (data drift и concept drift), атаки на CI/CD-конвейеры, уязвимости API-интерфейсов, отсутствие полного мониторинга и др.
Поэтому следующим логичным шагом становится практика MLSecOps — интеграция в MLOps мер информационной безопасности по аналогии с DevSecOps. Основное внимание при этом уделяется предотвращению атак на данные, модели и их окружение, а также соответствию нормативным требованиям. Например, при разработке модели может использоваться обфускация — изменение кода или структуры модели таким образом, чтобы сохранить исходную функциональность, но сделать код или алгоритмы сложнее для понимания и анализа. Также может применяться маскирование данных.
Для защиты ML, LLM и баз данных команда департамента кибербезопасности IBS предлагает следующие меры:
Дипфейки (deepfake) — это созданные при помощи ИИ правдоподобные поддельные изображения, видео или звук.
Противодействие им также начинается с аудита и выявления возможных каналов проникновения в компанию. По результатам этого анализа разрабатываются инструкции и внедряются автоматизированные решения для защиты внутреннего контура. Например, встроенные инструменты для выявления дипфейков. Не менее важным является регулярное обучение сотрудников, чтобы они знали, как действовать при получении подозрительных сообщений. Кроме того, необходимо постоянно проводить мониторинг информационного пространства и оперативно адаптировать защитные механизмы в ответ на изменения в технологиях.
Защита от угроз искусственного интеллекта в корпоративном секторе требует комплексного подхода, а не отдельных мер, связанных исключительно с ИИ-технологиями. Не стоит ждать, пока появятся специализированные средства защиты и начнется их массовое внедрение. Существующие инструменты и подходы позволяют вполне эффективно решать задачи кибербезопасности.