В информационно-методическом журнале «Защита информации. Инсайд», № 6 ноябрь–декабрь 2022 г. вышла наша новая статья про искусственный интеллект:
БЕЗОПАСНОСТЬ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
Artificial Intelligence Security
Авторы:
Владимир Афанасьевич Артамонов, доктор технических наук, профессор, академик МАИТ
Елена Владимировна Артамонова, кандидат технических наук, член МАИТ
Сафонов Александр Евгеньевич, магистр информационных технологий.
Международное научное общественное объединение «МЕЖДУНАРОДНАЯ АКАДЕМИЯ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ» (МНОО МАИТ)
The international public union “THE INTERNATIONAL ACADEMY OF INFORMATION TECHNOLOGIES” (IAIT)
Аннотация
В данной работе рассмотрены вопросы безопасности искусственного интеллекта (ИИ) как сущности, являющейся одновременно, как средством обеспечения информационной безопасности, так и объектом кибератак. Главным механизмом настройки ИИ на решение конкретной задачи является машинное обучение (МО). В тоже время, МО является угрозой и одновременно уязвимостью ИИ перед различного рода атаками, ландшафт которых постоянно расширяется. В работе приведены риски взлома систем ИИ по ряду ключевых отраслей. Приведены категории атак на модели машинного обучения. Представлены математические и структурные модели «взлома» ИИ через технологии МО и даны практические рекомендации по противостоянию такого рода атакам.
Ключевые слова: Искусственный интеллект, машинное обучение, кибератаки, угрозы, уязвимости, киберустойчивость, фреймворки, математические модели взлома нейросетей, структурные модели организации атак, платформы обеспечения информационной безопасности ИИ.
Подробности на
Введение
Один из законов Паркинсона гласит, что, если один человек что-то создал, другой обязательно это постарается испортить. Как только искусственный интеллект вышел за пределы лабораторий и стал применяться на практике, так его немедленно начали пытаться «сломать» или заставить действовать в интересах злоумышленника.
Средства обмана ИИ систем также весьма многообразны. Поскольку искусственный интеллект в процессе машинного обучения учится не «пониманию» происходящего, а выдаче правильных ответов, то самоочевидна идея «неправильного обучения». В датасет «подмешиваются» неправильные данные, например, изображения. И «на выходе», еще недавно правильно работавший механизм распознавания, начинает считать портрет Джоконды автопортретом художника-авангардиста Пикассо. Такую подмену, разумеется, трудно реализовать дилетантам. Зато, если она осуществлена, то такую закладку крайне трудно выявить. Во-первых, принимаемые нейросетевой системой решения, в настоящее время невозможно проверить (методы такой проверки только разрабатываются), а, во-вторых, поскольку в более-менее сложной ИИ модели тысячи параметров, следовательно провести ее исчерпывающее тестирование невозможно. Теоретически возможна ситуация, когда ИИ- система будет работать правильно во всех случаях, кроме тех, когда получит ключевой сигнал, реакция на который когда-то была заложена злоумышленниками.
Впрочем, научиться обманывать конкретную ИИ-систему можно и удаленно — особенно, если известны алгоритмы ее обучения. Алгоритмы, секретом, как правило, не являются, наиболее популярные рассмотрены нами в работе [1]. В таком случае можно создать аналогичную модель и поэкспериментировать в поисках ее слабого места. И к поиску «пробивных дата-сетов» привлечь, опять же, ИИ-систему. Такое тестирование, разумеется, часто выполняют и сами владельцы ИИ-решений, пресловутая борьба «брони и снаряда» переходит на новый уровень.
Отправить статью в социальные сети, на печать, e-mail и в другие сервисы:
