Наши журналы
Опубликовать статью Вход и регистрация
Расширенный поиск
Разделы статьи

АНАЛИЗ ТЕХНОЛОГИЙ ЗАЩИТЫ СИСТЕМ, ВКЛЮЧАЮЩИХ МЕТОДЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА ДЛЯ СОСТАВЛЕНИЯ ЦИФРОВОГО ПРОФИЛЯ СТУДЕНТОВ

Научная статья
Карпов М.Г.
Семенов Д.Ю.
DOI:
https://doi.org/10.23670/IRJ.2021.113.11.002
Выпуск: № 11 (113), 2021
Опубликована:
2021/11/17
PDF

АНАЛИЗ ТЕХНОЛОГИЙ ЗАЩИТЫ СИСТЕМ, ВКЛЮЧАЮЩИХ МЕТОДЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА ДЛЯ СОСТАВЛЕНИЯ ЦИФРОВОГО ПРОФИЛЯ СТУДЕНТОВ

Научная статья

Карпов М.Г.1, *, Семенов Д.Ю.2

1, 2 Тюменский государственный университет, Тюмень, Россия;

1 Научно-технический университет «Сириус», Сочи, Россия

* Корреспондирующий автор (m.g.karpov[at]utmn.ru)

Аннотация

Алгоритмы машинного обучения (МО) обладают специфичными для себя уязвимостями, которые не свойственны другим. В данной статье рассматривается безопасность алгоритмов машинного обучения на примере конкретной системы создания цифрового портрета студента, особенности анализа уязвимостей, присущих данным системам, а также системы защиты от атак внутренних и внешних злоумышленников. В статье описаны алгоритмы Natural Language Processing (NLP) как основные рассматриваемые алгоритмы, подлежащие защите от действий злоумышленника. Сделан вывод о разрозненности методик анализа безопасности систем, использующих алгоритмы машинного обучения, в связи с чем необходимо дальнейшее исследование в данной области по разработке единой методики анализа.

Ключевые слова: машинное обучение, информационная безопасность, Natural Language Processing, Adversarial attack, методы защиты информации.

AN ANALYSIS OF SECURITY TECHNOLOGIES FOR SYSTEMS THAT INCLUDE NATURAL LANGUAGE PROCESSING METHODS FOR COMPILING A DIGITAL PROFILE OF STUDENTS

Research article

Karpov M.G.1, *, Semenov D.Yu.2

1, 2 Tyumen State University, Tyumen, Russia;

1 Sirius University of Science and Technology, Sochi, Russia

* Corresponding author (m.g.karpov[at]utmn.ru)

Abstract

Machine learning algorithms have unique vulnerabilities specific to them that are not characteristic of others. This article discusses the security of machine learning algorithms using the example of a specific system for creating a digital portrait of a student, the features of analyzing vulnerabilities inherent in these systems, as well as protection systems against attacks by internal and external intruders. The article also describes Natural Language Processing (NLP) algorithms as the main algorithms for consideration, which are subject to protection from the actions of an attacker. The author concludes on the disparity of methods for analyzing the security of systems using machine learning algorithms, which requires further research in this area in order to develop a unified analysis methodology.

Keywords: machine learning, information security, Natural Language Processing, Adversarial attack, methods of information protection.

Введение

Развитие технологий машинного обучения и их повсеместная интеграция в бизнес-процессы актуализирует вопросы безопасности использования таких систем. С 2015 года по 2018 год количество систем с использованием технологий машинного обучения выросло больше чем в два раза [1]. Однако необходимо принимать во внимание, что, как и любая технология AI накладывает определенные ограничения, связанные с безопасностью их использования и реализации. До сих пор продолжаются исследования особенностей реализации угроз конкретных систем AI. Высокая гетерогенность областей использования AI не позволяет реализовывать единые эффективные меры их защиты, что требует детального анализа всех элементов структуры системы с машинным обучением.

В работе в качестве объекта исследования представлен сервис формирования цифрового портрета студента и создания рейтинга таких портретов на основе методов обработки естественного языка. Особенностью сервиса является обработка чувствительных данных студента: его успеваемости, квалификации, мировоззренческих аспектов.

Помимо классического подхода к определению рисков и угроз систем машинного обучения и нейронных сетей, который основывается на экспериментальных исследованиях определения уязвимостей и теоретического прогнозирования, существуют кардинально иные методы, основанные на анализе природы решений моделей машинного обучения - eXplainable AI (XAI). Этот новый подход потенциально может решить проблемы информационной безопасности, связанные со сложностью в прогнозировании поведения AI, но на момент написания работы результаты в этой области недостаточны для введения в действующие системы [2, С. 1281–1297] По этой причине в работе анализируется вопрос актуальности классических атак на исследуемую систему МО, а также предлагаются направления для разработки защитных мер.

Постановка задачи

Рассмотрим систему анализа студента, то есть анализ тех знаний и навыков, которыми обладает студент, извлеченных с использованием методов NLP, которая на основании загруженных документов, то есть статей, диссертаций, дипломных и курсовых проектов, лабораторных работ извлекает информацию и определяет уровень владения определенными навыками, а также составляет рейтинг цифровых профилей. Такая система может быть описана формулой (1):

F(x) = k1 * y1 + k2 * y2 + … + kn * yn (1)

где y – навык, принимающая значение 0 или 1, k – коэффициент полноты знаний объекта цифрового профиля. Так как исследование безопасности машинного обучения в большей своей части представляет собой black box тестирование, то есть исследование без начальных знаний об алгоритме вычисления k(i), то в данном исследовании данная информация опущена.

Защита таких структурированных данных определяется федеральным законом 152-ФЗ “О персональных данных”, так как она позволяет однозначно идентифицировать субъекта. Получение такой информации может быть интересно как внутреннему нарушителю (пользователю системы), так и внешнему.

Кроме того, целью внешнего злоумышленника может быть и сам алгоритм МО, так как особенности его работы представляют собой коммерческую тайну. Таким образом, при разработке систем безопасности необходимо также предусмотреть угрозу атак, направленных на выявление данных особенностей.

На основании вышеперечисленного мы можем сделать вывод о том, что рассматриваются два вида нарушителей: внешний и внутренний. Таким образом при построении и проверке системы защиты алгоритма МО необходимо ответить на ряд вопросов:

  • возможно ли несанкционированно получить чувствительную информацию другого пользователя и каким образом;
  • можно ли получить информацию об особенностях работы алгоритма машинного обучения;
  • можно ли составить такой документ, на основании которого система добавила новый навык y, не соответствующий реальному набору навыков объекта;
  • можно ли искусственно завысить коэффициент k для показателей y своего профиля;
  • можно ли искусственно занизить коэффициент k для показателей y чужого профиля?

Особенности работы алгоритмов NLP

Результатом работы алгоритмов NLP является преобразование неструктурированного текста в структурированные данные.

Важно отметить, что сами по себе необработанные данные содержат в себе распределенные персональные данные, когда в структурированных сконцентрирована вся чувствительная информация. Таким образом, утечка данных цифрового следа студента имеет большие последствия и наносит больший ущерб организации.

Положим, что t – анализируемый текст; F – множество фактов (знаний) из предметной области; факт 07-12-2021 12-46-11 имеет набор атрибутов 07-12-2021 12-46-20, которые описываются грамматическими характеристиками и отношениями с другими атрибутами;07-12-2021 12-46-42 – токен, являющийся значением атрибута [3, С. 25-27]. Тогда формально факт можно описать следующим образом: 07-12-2021 12-46-57.

Для именованных сущностей: t – анализируемый текст; N – множество именованных сущностей предметной области; именованная сущность 07-12-2021 12-47-35 описывается грамматическими характеристиками; 07-12-2021 12-46-42 – токен, являющийся значением именованной сущности. Тогда формально именованную сущность можно описать следующей парой: 07-12-2021 12-47-50 [4, С. 183 – 192].

Анализ актуальных угроз безопасности МО

Основным видом угроз безопасности в системах машинного обучения является состязательная атака (Adversarial attack), целью которой является получение вектора, при подаче на вход алгоритму машинного обучения которого, алгоритм выдает некорректный выход. Для разработки подобного вектора может быть использовано несколько подходов [5, С. 1-6]:

  • уклонение (evasion) - если про алгоритм МО ничего не известно, то каждый новый раз на вход может быть подан измененный различным образом вектор до тех пор, пока на выходе алгоритма не будет получен “некорректный” результат;
  • отравление (poisoning) - если известен алгоритм и источник тренировочных данных, злоумышленник может предпринять действия для изменения данных с целью понижения точности работы алгоритма и дальнейшей некорректной работы алгоритма;
  • обучение собственного МО - если алгоритм МО известен, то в качестве атаки может быть использован тот же алгоритм с такой же или подобной тренировочной выборкой, результатом работы которого является такой входной вектор для исследуемого алгоритма, который приводил бы к нежелательным результатам.

Также может быть использована атака получения параметров модели, что может привести к раскрытию особенностей работы системы. Сама по себе данная атака не несет ущерба для обрабатываемых данных, но может быть использована для кражи интеллектуальной собственности.

Все вышеперечисленные угрозы без надлежащих мер защиты безопасности и противодействия атакам могут привести к серьезным последствиям не только в системах, обрабатывающие при обработке цифрового следа, но и при обработке любой чувствительной информации, например, медицинской, ПДн, коммерческая тайна и т.д.

Тем не менее, вопрос защиты алгоритмов МО от перечисленных атак остается открытым [6, С. 74720-74742]. Необходимо понимать, что системы МО могут быть подвержены и обычным уязвимостям ПО [6, С. 80]. В том числе использование небезопасных или устаревших библиотек машинного обучения, содержащих известные уязвимости.

Методы защиты

При исследовании информационной безопасности систем, использующих алгоритмы машинного обучения, были проанализированы наиболее распространенные уязвимости, согласно рейтингу OWASP top-10, и методы противодействия им. В ходе исследования было выявлены, наиболее эффективные методы защиты информации:

  • разграничение прав пользователей;
  • обезличивание данных;
  • разделение чувствительных данных и хранение в разных БД;
  • разграничение внутренней сети.

Полноценная техническая реализация этих мер позволяет устранить высокий риск реализации угроз, которые приводят к утечкам данных.

Для разграничения прав доступа использовалась классическая модель дискреционного доступа UNIX-подобных ОС. Было выделено три роли: ds, teacher, student. Где ds обладает правами на доступ ко всем объектам с правом чтения и редактирования, teacher - к данным пользователей группы student с правами чтения и редактирования, а student - только к данным своего цифрового профиля с правами чтения и ограниченного редактирования.

Обезличивание данных производилось в соответствии с методологическими рекомендациями Роскомнадзора. В качестве метода обезличивания использовалось введение идентификаторов с созданием сводной таблицы соответствия идентификатор - ПДн [8].

Учитывая высокую чувствительность и объем хранимых данных студентов было произведено разделение чувствительной и обезличенной информации на разные БД. Кроме того, эти БД были разграничены на сетевом уровне, что позволило улучшить безопасность данных.

Таким образом, при проникновении злоумышленника через первый периметр к обезличенным данным будет обеспечена сохранность ПДн студентов.

Если рассматривать непосредственно защиту механизмов машинного, то на данный момент известны следующие методы:

  • добавление примеров соревновательных атак в обучающую выборку [9];
  • добавление в обучающую выборку немного “зашумленных” объектов [10, С. 45];
  • Feature Squeezing - использование нескольких идентичных моделей с разной степенью сжатия. При такой схеме adversarial атака может получить желаемый результат в одной сети, но не сможет на другой. Таким образом, посчитав попарную разницу выходов исходной нейронной сети и дополнительных, выбрав из них максимум и сравнив его с заранее подобранным порогом, мы можем определить был ли это adversarial пример или нет [11].

Несмотря на то, что данные меры защиты показывают свою эффективность, работы по исследованию подходов к обеспечению безопасности алгоритмов МО продолжаются и являются актуальными [12, С. 74720].

Заключение

Рассмотрев текущее состояние систем машинного обучения, использующие алгоритмы машинного обучения в общем и Natural Language Processing, в частности, нами был сделан вывод о необходимости систематизации и выработки единой методики анализа данных систем на наличие уязвимостей, которая включала бы в себя как “классические” уязвимости, присущие любым системам хранения и обработки информации, так и угрозы, актуальные только для систем МО.

Финансирование Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-37-51028 и Научно-технологического университета «Сириус». Funding The study was carried out with the financial support of the Russian Foundation for Basic Research within the framework of this scientific project No. 19-37-51028 and the Sirius University of Science and Technology.
Конфликт интересов Не указан. Conflict of Interest None declared.

Список литературы / References

  1. Shoham Y. Artificial intelligence index: 2018 annual report / Y. Shoham et al. // Retrieved July. – 2018. – Vol. 25. – P. 2019.
  2. Wang B. With great training comes great vulnerability: Practical attacks against transfer learning / B. Wang, Y. Yao, B. Viswanath et al. // In Proc. 27th USENIX Security Symp., 2018. — P. 1281–1297.
  3. Гречачин В. А. К вопросу о токенизации текста / В. А. Гречачин // Международный научно-исследовательский журнал. – 2016. – №. 6-4 (48) – С. 25-27.
  4. Извлечение структурированной информации из текстов исковых заявлений Математическое и информационное моделирование: сборник научных трудов. Вып.18. Тюмень: Изд-во ТюмГУ, 2020. – С. С. 183 – 192.
  5. Newaz A. K. M. I. Adversarial attacks to machine learning-based smart healthcare systems / A. K. M. I. Newaz et al // GLOBECOM 2020-2020 IEEE Global Communications Conference. – IEEE, 2020. – P. 1-6.
  6. Xue M. Machine learning security: Threats, countermeasures, and evaluations / M. Xue et al. // IEEE Access. – 2020. – Vol. 8. – P. 74720-74742.
  7. Schneier B. Attacking machine learning systems / B. Schneier // Computer. – 2020. – Vol. 53. – №. 5. – P. 78-80.
  8. Рекомендации по применению приказа Роскомнадзора М. от 5 сентября 2013 г. № 996 «Об утверждении требований и методов по обезличиванию персональных данных» (утв. Роскомнадзором 13.12. 2013) //v Утверждены руководителем Роскомнадзора. – 2013. – Т. 13.
  9. Szegedy C. Intriguing properties of neural networks / C. Szegedy et al. // arXiv preprint arXiv:1312.6199. – 2013.
  10. Zantedeschi V. Efficient defenses against adversarial attacks / V. Zantedeschi, M. I. Nicolae, A. Rawat // Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. – 2017. – P. 39-49.
  11. Xu W. Feature squeezing: Detecting adversarial examples in deep neural networks / W. Xu, D. Evans, Y. Qi // arXiv preprint arXiv: 1704.01155. – 2017.
  12. Xue M. Machine learning security: Threats, countermeasures, and evaluations / M. Xue et al. // IEEE Access. – 2020. – Vol. 8. – P. 74720-74742.

Список литературы на английском языке / References in English

  1. Shoham Y. Artificial intelligence index: 2018 annual report / Y. Shoham et al. // Retrieved July. – 2018. – Vol. 25. – P. 2019.
  2. Wang B. With great training comes great vulnerability: Practical attacks against transfer learning / B. Wang, Y. Yao, B. Viswanath et al. // In Proc. 27th USENIX Security Symp., 2018. — P. 1281–1297.
  3. Grechikhin V. A. K voprosu o tokenizacii teksta [On the issue of text tokenization] / V. A. Grechachin // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal [International Research Journal]. – 2016. – №. 6-4 (48) – Pp. 25-27. [in Russian]
  4. Izvlechenie strukturirovannoj informacii iz tekstov iskovyh zajavlenij Matematicheskoe i informacionnoe modelirovanie: sbornik nauchnyh trudov [Extraction of structured information from the texts of statements of claim Mathematical and information modeling: collection of scientific papers]. Issue 18. Tyumen: Publishing House of TSU, 2020. - P. 183 - 192. [in Russian]
  5. Newaz A. K. M. I. Adversarial attacks to machine learning-based smart healthcare systems / A. K. M. I. Newaz et al // GLOBECOM 2020-2020 IEEE Global Communications Conference. – IEEE, 2020. – P. 1-6.
  6. Xue M. Machine learning security: Threats, countermeasures, and evaluations / M. Xue et al. // IEEE Access. – 2020. – Vol. 8. – P. 74720-74742.
  7. Schneier B. Attacking machine learning systems / B. Schneier // Computer. – 2020. – Vol. 53. – №. 5. – P. 78-80.
  8. Rekomendacii po primeneniju prikaza Roskomnadzora M. ot 5 sentjabrja 2013 g. № 996 «Ob utverzhdenii trebovanij i metodov po obezlichivaniju personal'nyh dannyh» (utv. Roskomnadzorom 13.12. 2013) [Recommendations on the application of the order of Roskomnadzor M. dated September 5, 2013 No. 996 "On approval of requirements and methods for depersonalization of personal data" (approved by Roskomnadzor on 13.12. 2013)] //v Approved by the head of Roskomnadzor. - 2013. - Vol. 13. [in Russian]
  9. Szegedy C. Intriguing properties of neural networks / C. Szegedy et al. // arXiv preprint arXiv:1312.6199. – 2013.
  10. Zantedeschi V. Efficient defenses against adversarial attacks / V. Zantedeschi, M. I. Nicolae, A. Rawat // Proceedings of the 10th ACM Workshop on Artificial Intelligence and Security. – 2017. – P. 39-49.
  11. Xu W. Feature squeezing: Detecting adversarial examples in deep neural networks / W. Xu, D. Evans, Y. Qi // arXiv preprint arXiv: 1704.01155. – 2017.
  12. Xue M. Machine learning security: Threats, countermeasures, and evaluations / M. Xue et al. // IEEE Access. – 2020. – Vol. 8. – P. 74720-74742.