1. Введение

Современный этап развития информационно-телекоммуникационной инфраструктуры сопровождается резким ростом объёма информации, поступающей от различных систем сбора и обработки данных, сенсорных систем, а также социальных сетей. Совокупность указанных данных является «большими данными» и открывает уникальные возможности для улучшения качества решения задач в различных секторах экономики, системах управления, а также в области обеспечения безопасности граждан. Однако рассматриваемые возможности имеют высокую вероятность реализации только при наличии соответствующих технологий обработки данных, обеспечивающих решение специфических прикладных задач с определённым гарантированным качеством. В существующих условиях ведущие государства мира рассматривают технологии искусственного интеллекта как один из ключевых факторов достижения способности влияния на решения и действия в сфере государственной политики, управления и организации общества [1], [3].

Актуальность. В последние десятилетия фаза эволюции информационных и телекоммуникационных систем отмечена стремительным увеличением объемов разнообразной информации. Как отмечают авторы в публикациях [1], [3], [13], именно «большие данные» становятся ключевым ресурсом для принятия решений в экономике, управлении и безопасности. Однако, согласно работам [14], [15], потенциал больших данных реализуется лишь при наличии адекватных технологий обработки, среди которых ведущая роль отводится искусственному интеллекту.

В зарубежной литературе активно исследуются риски внедрения ИИ: этические аспекты [16], уязвимости нейросетей к потере управляемости, целостности и утечке конфиденциальной информации [15], [17]. В российской науке вопросы регулирования ИИ рассматриваются в работах [18], [19], однако комплексный анализ рисков именно с позиции национальной безопасности и правовой стабильности представлен фрагментарно. Большинство исследований фокусируются либо на технических, либо на правовых аспектах изолированно, что создаёт пробел в системном видении существующих угроз.

Проблема и обоснование исследования. Отсутствие единой методологии оценки и противодействия рискам ИИ (от манипуляции данными до возникновения «цифровой власти») снижает эффективность внедрения ИИ в России и создаёт угрозы национальной безопасности, указанные в Указе Президента № 490 от 10.10.2019 г. «О развитии искусственного интеллекта» [1]. Это определяет необходимость систематизации рисков и выработки практических мер реагирования.

Цель работы заключается в систематизации рисков применения технологий искусственного интеллекта в контексте обработки больших данных и разработке комплекса организационно-технических мер для их минимизации в российском правовом поле.

Задачи исследования:

1) провести анализ актуальных рисков внедрения систем ИИ, включая технические, социальные и правовые аспекты;

2) классифицировать выявленные угрозы по источникам возникновения и потенциальному ущербу;

3) сформулировать предложения по созданию контролируемой инфраструктуры ИИ (верифицированные модели, дата-центры, средства подавления деструктивных действий);

4) определить направления правового регулирования для снижения рисков параллельной цифровой власти и вмешательства в частную жизнь.

2. Классификация рисков и методы противодействия угрозам искусственного интеллекта в системах обработки больших данных

Страны за рубежом стремятся занять лидирующие позиции в области искусственного интеллекта (далее — ИИ). Именно системы ИИ должны лечь в основу создания инновационных технологий, которые приведут к прорывам в таких сферах, как экономика, аграрный сектор, здравоохранение и развитие умных городов [1], [2]. Под искусственным интеллектом понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в т.ч. в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиск решений [1], [5]. В России развитие искусственного интеллекта направлено на достижение ключевых целей: повышение уровня жизни и благосостояния граждан, усиление национальной безопасности и правовой стабильности, а также создание конкурентоспособной экономики, особенно в сфере ИИ, для того чтобы занять лидирующие позиции в мировом масштабе [1], [9], [10]. В рамках развития искусственного интеллекта в России выделяются следующие ключевые задачи [1], [2]:

– содействие научным исследованиям, направленным на ускоренное развитие искусственного интеллекта;

– разработка и оптимизация программных продуктов с применением ИИ-технологий;

– увеличение объема и улучшение характеристик данных, необходимых для развития технологий искусственного интеллекта;

– обеспечение наличия необходимого оборудования для реализации задач в области ИИ;

– развитие компетенций специалистов для удовлетворения потребностей российского рынка искусственного интеллекта и распространение информации о возможностях использования этих технологий среди населения.

Среди ключевых областей применения искусственного интеллекта в разных отраслях выделяются [1], [4], [12]:

– совершенствование результативности планирования, прогнозирования и принятия управленческих решений;

– внедрение автоматизации для стандартных производственных операций;

– активное использование автономных интеллектуальных систем, роботизированных решений и систем управления цепочками поставок;

– гарантия безопасности персонала в ходе выполнения рабочих задач;

– рост уровня лояльности и удовлетворенности потребителей;

– улучшение процедур найма и подготовки кадров, включая формирование оптимальных графиков работы с учетом различных аспектов.

В контексте социальной области, ключевыми векторами внедрения искусственного интеллекта выступают [1], [3], [9]:

– совершенствование уровня медицинского обслуживания, включая, например, проведение профилактических осмотров, диагностирование с использованием анализа изображений и предсказание возникновения болезней;

– повышение стандарта образовательных услуг, достигаемое путем адаптации учебной программы к индивидуальным нуждам учащихся и актуальным требованиям рынка труда;

– оптимизация государственных и муниципальных услуг, направленная на повышение их качества и одновременное уменьшение затрат на их обеспечение.

При этом существуют определенные риски, связанные с использованием технологий искусственного интеллекта, а именно:

1. Вынужденное заимствование иностранных технологий в области искусственного интеллекта в части использования программного и аппаратного обеспечения. Большая часть вычислений для искусственного интеллекта производится посредством использования графических карт (в основном иностранных). Большинство платформ, на которых базируются системы искусственного интеллекта иностранные. Программное обеспечение указанных платформ может иметь недекларируемые возможности, программные закладки и недокументированные функции. Системы искусственного интеллекта могут предоставлять для использования несовременные разработки, которые могут допустить ошибки, иметь устаревшие функции, упрощённые открытые версии. Удалённый доступ к системам искусственного интеллекта находится у иностранного производителя, что может привести к утечке конфиденциальных данных и персональных данных [7], [8], [12].

2. Отсутствие необходимого и достаточного количества кадров. Увеличился рост потребности аналитиков, работающих с большими данными. В настоящее время количество вузов, где могут преподавать порядок работы с большими данными, ограничено. Соответственно возникает необходимость дополнительной подготовки преподавателей и ученых в области технологий искусственного интеллекта [1], [9].

3. Отсутствие адекватных средств контроля систем искусственного интеллекта. Не существует технических средств контроля работы системы искусственного интеллекта, что позволяет разработчику вносить недокументированные функции и недекларируемые возможности. Сформированная нейросеть — это совокупность настроенных элементов обработки, не содержащая сведений об использованных для обучения данных, а также о типах объектов и методах, которым система была обучена для их идентификации. Ручная проверка миллионов вычислений в нейронной сети невозможна. Даже небольшая доля неточностей, выявленная в тестовых проектах с применением искусственного интеллекта, может привести к существенным убыткам при масштабировании и использовании на больших массивах информации [5], [6], [10].

4. Возможность манипулирования системами искусственного интеллекта посредством воздействия и намеренного внесения изменений в данные систем искусственного интеллекта. Возможно целенаправленное искажение данных, взлом алгоритмов, манипулирование оперативной разработкой [7], [9], [12].

5. Введение в заблуждение систем искусственного интеллекта при помощи самих систем искусственного интеллекта. Возможна ложная подмена информации систем биометрической идентификации пользователя с помощью специальных систем генерации образов, доступных на открытом рынке. Также возможно осуществить подделку разметки для беспилотных автомобилей [9], [10], [11].

6. Создание иллюзорной реальности с целью использования не по назначению. Подделка голоса, изображений и видео, которые невозможно отличить от настоящих [8], [10].

7. Манипулирование общественным мнением и усиление интенсивности информационных войн за счет появления более совершенных генеративных и самообучающихся моделей. Цифровые платформы знают предпочтения и привычки пользователя и предлагают требуемую повестку, такую как неотразимая реклама, убедительная политическая пропаганда [8], [10].

8. Возникновение параллельной цифровой власти. Формируется новый класс цифровой власти. Это владельцы, разработчики, операторы, администраторы систем искусственного интеллекта и баз данных. Они получают власть по факту доступа к данным [7], [10].

9. Вмешательство в частную жизнь. Распознавание лиц и анализ данных о человеке из разных источников нарушают права человека на тайну личной жизни. Большинство данных, получаемых системами искусственного интеллекта не урегулированы в законодательстве [7], [8].

10. Риск роста социальной напряженности. За счёт потери миллионов рабочих мест и распространения работ, требующих более высокой квалификации может быть увеличено количество недовольных граждан [9], [10], [11].

11. Правовые риски с определением правового статуса самого искусственного интеллекта. Нет четкого правого определения по ответственности применения технологий и систем искусственного интеллекта при принятии решений, а именно привлечение ИИ или его разработчиков к ответственности за нарушение законодательства страны. Отсутствуют нормы права по наделению ИИ правами и обязанностями. Нет четкого понимания к какому статусу отнести ИИ, юридическое лицо, интеллектуальная собственность, либо другая форма [9], [10], [11].

Регулирование правовых аспектов использования систем искусственного интеллекта становится важнейшей задачей современного общества. Необходим комплексный системный подход, включающий разработку законодательных норм, создание специализированных судов и институтов контроля, чтобы обеспечить справедливое распределение ответственности и защиту прав всех участников правоотношений. В целях адекватного противодействия рискам при применении технологий обработки больших данных и развития ИИ предлагаем:

– привлечение инвестиций в направлении развития искусственного интеллекта, в частности в высокорискованное направление научно-исследовательских работ;

– формирование и применение технологий, а также методологической базы, для борьбы с информационными деструктивными воздействиями;

– создание единых контролируемых облачных решений сервисов искусственного интеллекта;

– обеспечение требуемого уровня защищенности данных для обучения нейронных сетей и для использования;

– создание и развитие единой базы верифицированных моделей и дата центров, предусматривающих достоверную поставку данных;

– упреждающая разработка средств подавления деструктивных действий искусственного интеллекта;

– обеспечение контроля и возможности расследования публичной утечки данных.

3. Полученные результаты и их новизна

Систематизировано 11 классов рисков применения ИИ, объединённых в три группы: технологические (заимствование иностранных решений, отсутствие средств контроля, манипуляция данными), социально-правовые (цифровая власть, вмешательство в частную жизнь, рост напряжённости) и операционные (подделка образов, иллюзорная реальность, манипуляция обществом).

Выявлен новый класс угрозы: «параллельная цифровая власть» (владельцы систем ИИ получают влияние, не предусмотренное законодательством).

Предложен комплекс из 7 мер, включающий создание единых контролируемых облачных решений; формирование базы верифицированных моделей, упреждающую разработку средств подавления деструктивных действий ИИ и обеспечение возможности проведения тщательного анализа и проверки операций, транзакций или процессов утечек данных.

Научная новизна и оригинальность:

Впервые предложена трёхуровневая классификация рисков ИИ (технологический, социально-правовой, операционный) применительно к российской стратегии развития ИИ. В отличие от работ [15], [16], [17], [19], новизна состоит в выделении взаимосвязи между отсутствием средств контроля искусственного интеллекта и возникновением «недекларируемых возможностей» — аспект, ранее не рассматривавшийся комплексно. Оригинальность предложенных мер заключается в приоритете упреждающего подавления (а не только обнаружения) деструктивных действий ИИ, что отличает подход от стандартных моделей кибербезопасности.

Впервые сформулировано требование к возможностям проведения тщательного анализа и проверки операций, транзакций или процессов публичных утечек данных как самостоятельной мере, что не фигурирует в действующих редакциях нормативных правовых актов.

4. Заключение

В настоящее время в целях обеспечения защищенности от указанных угроз компании Европейского союза закладывают в регламентах информационно-технического взаимодействия и обмена данными юридические основы по раскрытию информации о сведениях, используемых для обучения моделей искусственного интеллекта. При этом юридические лица, выпускающие подобные модели, обязуют посредством применения комплексной системы штрафов публиковать сводку данных, использованных для обучения, архитектуру и принципы работы систем, а также документировать меры по обеспечению информационной безопасности.

В связи с вышеизложенным выделяем несколько направлений для будущих исследований, которые могут расширить возможности безопасного использования ИИ и повысить уровень защищенности данных, циркулируемых в моделях искусственного интеллекта:

– повышение уровня полноты и качества данных, используемых для обучения моделей ИИ;

– разработка комплексных решений с элементами ИИ для защиты от деструктивных программных воздействий и оперативного реагирования на угрозы безопасности;

–

Таким образом, необходимо уточнение существующих подходов к решению проблем, связанных с развитием и внедрением технологий искусственного интеллекта и обработки больших данных, на всех уровнях государства с реализацией соответствующих мер научно-методического характера.

The additional file for this article can be found as follows: