Аннотация

Рассмотрены вопросы безопасного функционирования нейросетей глубокого машинного обучения (DNN) как сущности, являющейся одновременно и средством
обеспечения информационной безопасности, и объектом кибератак, ландшафт которых постоянно расширяется. Главным механизмом настройки DNN на решение конкретной задачи является машинное обучение (МО). В то же время, МО является угрозой и одновременно уязвимостью DNN перед атаками, связанной с внедрением программных закладок – бэкдоров. В работе приведены примеры взлома (отравления) искусственного интеллекта (ИИ) на основе DNN по ряду систем распознавания образов. Представлены математические и структурные модели взлома ИИ на этапе МО и даны рекомендации по противостоянию бэкдор-атакам на основе технологий обрезки и тонкой настройки.

Пожалуй, нет другой научно-технологической области в современной экономике, с которой были бы связаны настолько завышенные ожидания как искусственный интеллект (ИИ). ИИ мифологизирован, не в последнюю очередь благодаря фантастике – романам Айзека Азимова и Артура Кларка, философским трактатам Юлия Харари, фильмам «Терминатор» и «Матрица». От него ожидают то ли апокалиптического будущего для цивилизации, то ли появления сверхразума, который немедленно овладеет всеми тайнами мироздания. Но есть ли в этой сфере место мистике, и каковы прогнозы развития этого продукта четвёртой промышленной революции (Индустрия 4.0) на самом деле?
Технологии ИИ проникают во все сферы жизни. Наука — не исключение. Ученые начинают использовать машинное обучение все активнее, и в этой области уже есть реальные научные достижения. Но это лишь прелюдия: ИИ появился не для того, чтобы просто помочь с расчетами, текстами и ответами на запросы пользователей. Его роль в будущем масштабнее — он усилит наше мышление, указывая на взаимосвязи, которые человеческому уму на первый взгляд не видны. Это приведет к изменению самой науки, как способа познания мира. Учёные полагают, что у нее появится новый способ проникнуть в ещё неизведанные тайны мироздания.
Условия для таких перемен уже почти созрели. Поток данных, который скоро захлестнет науку, поставит ученых в положение, в котором прежние поколения не оказывались, ведь раньше данных всегда не хватало. Теперь же, например, в космологии и физике в ближайшее десятилетие появятся огромные массивы данных от ускорителей, токамаков и телескопов. Один только радиотелескоп Square Kilometer Array, запуск которого запланирован на вторую половину 2020-х, будет ежегодно генерировать примерно столько же трафика, сколько недавно давал весь Интернет. Еще один растущий поток данных пойдет из биоинформатики и нейробиологии.
Другая тенденция — вал научных публикаций. Сегодня один ученый не в силах отследить и прочесть все статьи, выходящие по его (ее) узкой тематике. Приходится выбирать только те, что на виду и активно цитируются. Поскольку так поступают все, то лавина новых публикаций лишь укрепляет наиболее цитируемые статьи, фактически замедляя научный прогресс. Для человека уже невозможно физически разобрать большую долю работ и оценить изложенные в них идеи, даже если тратить все время только на чтение. Но и сама научная инфраструктура (ускорители, симуляции процессов, базы данных) вскоре достигнет таких масштабов и сложности, что управлять ей в реальном времени с помощью простых правил и процедур не получится.
Кроме того, ученые исследуют климат, экономику, экосистемы, психику человека. Иными словами, то, над чем работают ученые, и то, на чем они работают, становится чрезвычайно сложным и запутанным. Прежние методы науки не рассчитаны на такую сложность. Так что когнитивные технологии ИИ в виде нейронных сетей пришли как раз вовремя.

Как сказал выдающийся русский учёный Д.И. Менделеев: «Всякая наука начинается с измерений и классификации». Примером тому может служить предложенная в 1869 году великим химиком и метрологом периодическая система элементов. И с этих позиций перейдём к вопросу развития искусственного интеллекта как когнитивной науки будущего, которая кардинальным образом изменит жизнь человечества. Следуя заветам великого учёного, начнём с классификации.
В научном мире сложилась практика классификации искусственного интеллекта, основанная на требованиях национального стандарта ГОСТ Р 59277-20202
– по категориям и по виду. По категориям были выделены три основные категории искусственного интеллекта: узкий (слабый) ИИ (англ. — Artificial Narrow Intelligence, ANI), общий ИИ (англ. — Artificial General Intelligence, AGI) и суперсильный ИИ (англ. — Artificial Super Intelligence, ASI), которые отличаются по уровню интеллектуальных возможностей и целям использования. По виду ИИ был разделен на поверхностный и глубинный, где поверхностный ИИ основывается на правилах
и заранее определенных алгоритмах, а глубинный ИИ использует машинное обучение для поиска закономерностей в данных и создания собственных алгоритмов

В сборнике БОЛЬШАЯ ЕВРАЗИЯ: РАЗВИТИЕ, БЕЗОПАСНОСТЬ, СОТРУДНИЧЕСТВО напечатаны: Материалы Шестой международной научно-практической конференции «Большая Евразия: национальные и цивилизационные аспекты развития и сотрудничества». Наша статья "ЭКОНОМИКА КИБЕРБЕЗОПАСНОСТИ" см. стр. 37 Авторы: Артамонов В.А., д.т.н., профессор, академик Международной академии информационных технологий, Минск, artamonov@itzashita.ru Артамонова Е.В., к.т.н. (PhD), Минск, admin@itzashita.ru Васильев А.В., ScienceSoft, г. Минск, alexey_vasilyev96@mail.ru Полный текст [...]

Кибервойна же нацелена в первую очередь на важнейшие системы функционирования и жизнеобеспечения государства – электростанции, энергетические сети, пути сообщения, водооборотные, трубопроводные транспортные системы и тому подобные. Несмотря на то, что оба понятия подразумевают воздействие на информационные активы, сферы их приложения все же различны как и виды информации, на которые распространяется их влияние.
Кибервойна — компьютерное противостояние в пространстве Интернета, которое направлено прежде всего на дестабилизацию компьютерных систем и доступа к Интернету государственных учреждений, финансовых и деловых центров и создание беспорядка и хаоса в жизни стран, которые полагаются на Интернет в повседневной жизни. Межгосударственные отношения и политическое противостояние часто находит продолжение в Интернете в виде кибервойны: вандализме, пропаганде, шпионаже и непосредственных атаках на компьютерные системы и серверы. Одно из определений термина звучит так: «кибервойна – использование Интернета и связанных с ним технологических и информационных средств одним государством с целью причинения вреда военной, технологической, экономической,
политической и информационной безопасности и суверенитету другого государства». Как писал эксперт по безопасности правительства США Ричард А. Кларк в своей книге «Кибервойна» (вышла в мае 2010 года), «кибервойна – действия одного национального государства с проникновением в компьютеры или сети другого национального государства для достижения целей нанесения ущерба или разрушения». Американский журнал The Economist описывает кибервойну как «пятую область войны, после земли, моря, воздуха и космоса».

Технологии искусственного интеллекта (ИИ) проникают во все сферы жизни. Наука не исключение. Ученые начинают использовать машинное обучение все активнее, и за ним уже есть реальные научные достижения. Но это лишь прелюдия: ИИ появился не для того, чтобы просто помочь с расчетами, текстами и ответами на запросы пользователей. Его роль в будущем масштабнее ñ он усилит наше мышление, указывая на взаимосвязи, которые человеческому уму на первый взгляд не видны. Это приведет к изменению самой науки как способа познания мира. Ученые полагают, что у нее появится новый способ проникнуть в еще неизведанные тайны мироздания.

В данной работе рассмотрены вопросы безопасности искусственного интеллекта (ИИ) как сущности, являющейся одновременно, как средством обеспечения информационной безопасности, так и объектом кибератак. Главным механизмом настройки ИИ на решение конкретной задачи является машинное обучение (МО). В тоже время, МО является угрозой и одновременно уязвимостью ИИ перед различного рода атаками, ландшафт которых постоянно расширяется. В работе приведены риски взлома систем ИИ по ряду ключевых отраслей. Приведены категории атак на модели машинного обучения. Представлены математические и структурные модели «взлома» ИИ через технологии МО и даны практические рекомендации по противостоянию такого рода атакам.