Our journals
Submit manuscript Sign in / Sign up
Advanced search
Article sections

MODELING OF MULTIAGENT SYSTEM OF CYBER-PHYSICAL DEVICES FOR SOLVING PROBLEM MANAGEMENT AND SECURITY CONTROL PROBLEMS

Research article
Pronichev A.P.
Vitkova L.A.
DOI:
https://doi.org/10.23670/IRJ.2019.87.9.003
Issue: № 9 (87), 2019
Published:
2019/09/16
PDF

МОДЕЛИРОВАНИЕ МУЛЬТИАГЕНТНОЙ СИСТЕМЫ КИБЕР-ФИЗИЧЕСКИХ УСТРОЙСТВ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ УПРАВЛЕНИЯ И КОНТРОЛЯ БЕЗОПАСНОСТИ ПЕРИМЕТРА

Научная статья

Проничев А.П.1, Виткова Л.А.2, *

1 ORCID: 0000-0002-8641-9587;

2 ORCID: 0000-0002-4945-6151;

1, 2 Санкт-Петербургский институт информатики и автоматизации Российской академии наук,

Санкт-Петербург, Россия

* Корреспондирующий автор (vitkova[at]comsec.spb.ru)

Аннотация

В статье рассматриваются существующие базовые средства разработки мультиагентных систем и предлагается архитектура киберфизической системы безопасности. При этом, основной целью моделируемой системы является повышение уровня защищенности помещения со сложной планировкой. Система ориентирована на реализацию в программно-аппаратной среде и включает три функциональных уровня: агрегирования, периферийный и сбора данных. В рамках эксперимента описан программный прототип интеллектуального агента мультиагентной системы для мониторинга помещении.

Ключевые слова: мультиагентные системы, киберфизические системы безопасности, интеллектуальный агент, информационная безопасность.

MODELING OF MULTIAGENT SYSTEM OF CYBER-PHYSICAL DEVICES FOR SOLVING PROBLEM MANAGEMENT AND SECURITY CONTROL PROBLEMS

Research article

Pronichev A.P.1, Vitkova L.A.2, *

1 ORCID: 0000-0002-8641-9587;

2 ORCID: 0000-0002-4945-6151;

1, 2 St. Petersburg Institute of Informatics and Automation of the Russian Academy of Sciences, St. Petersburg, Russia

* Corresponding author (vitkova[at]comsec.spb.ru)

Abstract

The paper considers the existing basic tools for developing multiagent systems and offers the architecture of a cyber-physical security system. The main goal of the simulated system is to increase the level of security in the premises with a complex layout. The system is focused on implementation in a hardware-software environment and includes three functional levels: aggregation, peripheral, and data collection. A software prototype of an intelligent agent of a multiagent system for monitoring a premise is described as part of the experiment.

Keywords: multiagent systems, cyber-physical security systems, intelligent agent, information security.

Введение

В настоящее время наблюдается тенденция к развитию децентрализованных систем с использованием интеллектуальных агентов. Для организации сложных систем охраны периметра используют концепции киберфизических систем безопасности (КСБ), основанных на архитектуре мультиагентного взаимодействия. Больше внимания уделяется вопросам безопасности предприятий и прогнозируются следующие тенденции при разработке систем безопасности:

1) Интеграция мобильных агентов с другими средствами защиты, такими как датчики, различные механизмы, средства анализа состояния защиты;

2) Переход на интеллектуальные децентрализованные модули принятия решения представляющим из себя мультиагентную систему (МАС).

Использование таких систем может позволить эффективнее контролировать ситуацию, избегая проблем с отказоустойчивостью системы. Перспективным направлением считается внедрение особенностей самоорганизации и адаптивности в КСБ, присущих МАС, интеллектуальное поведение которых характеризуется отсутствием централизованной системы управления.

Преимущества использования мультиагентных систем [1]:

  • МАС, как интеллектуальные системы нового уровня, способны решать сложные проблемы;
  • Позволяют снизить затраты ресурсов и повысить эффективность их использования;
  • В мультиагентных системах сложные задачи могут решаться путем достижения компромиссов;
  • Гибкость таких систем позволяет решать проблемы в реальном времени, реагируя на события в окружающей среде;
  • МАС позволяют снизить уровень зависимости от отельных субъектов в принятии решении;
  • Любая система МАС является масштабируемой платформой, где при росте сложности решаемых задач не требуется увеличение штата персонала.

В статье рассматривается концептуальный подход к архитектуре мультиагентной системы кибер-физических устройств для решения проблем управления и контроля безопасности периметра. Этот подход позволит одновременно использовать существующие информационные системы с внедрением дополнительных стационарных и мобильных агентов киберфизической системы для совместного управления и решения возникающих проблем. Статья построена следующим образом: обзор посвящен наиболее популярным базовым средствам разработки, при помощи которых может быть реализована мультиагентная система, а также исследованиям, посвященным КСБ и МАС. В третьем разделе описывается архитектура системы, в четвертом показаны результаты эксперимента, в рамках которого разрабатывался программный прототип интеллектуального агента для мониторинга помещений. В заключительном разделе обсуждаются будущие перспективы и задачи.

Обзор существующих разработок в области МАС

В работах [2], [3] проводиться расширенный анализ существующих разработок в области МАС-приложений, среди которых наиболее востребованными считаются сферы управления производством, логистики, энергетики и аэрокосмической отрасли. В то же время большинство разработок остаются на стадии прототипов. Исследования по-прежнему ведутся на уровне научных институтов и организаций. Хотя в 1998 году были выпущены стандарты FIPA [4], целью которых была организация связи между агентами, отправка и получение понятных сообщений. Вскоре появились различные базовые средства разработки мультиагентных систем.

Препроцессор и высокопроизводительный шаблонизатор JADE основан на языке программирования Java. Имеет обширную справочную документацию, совместим со стандартами FIPA [5]. В работе [6] представлена обобщенная архитектура МАС для поддержки жизненного цикла авиационного газотурбинного двигателя разработанная с применением JADE.

В [7] для разработки методов рационального архитектурного проектирования мультиагентных систем используется Python Agent DEvelopment framework (PADE) – фреймворк, использующий стандарт FIPA-ACL, позволяющий разрабатывать ПО в Python.

В [8] рассматривается проблема коммуникации и структурированного обмена информацией с поставщиками. С этой целью авторами в [8] предлагается подход, основанный на использовании МАС, а в качестве средства автоматизации и облегчения процесса устойчивого выбора поставщиков и распределения заказов используется Open Agent Architecture (OAA). Это фреймворк, предназначенный для интеграции разнородных программных агентов в распределенной среде. OAA полезен для построения сложных систем, имеющих множество разнородных компонентов, если в этих системах важны гибкость и расширяемость [9].

PANGEA – фреймворк, ориентированный на развитие виртуальной организации агентов [10], [11]. PANGEA представляет ряд преимуществ по сравнению с другими фреймворками, в частности предоставляет агентов, инкапсулирующих элементарную функциональность, такую как доступ к данным, службам. PANGEA включает агентов, которые управляют безопасностью на системном уровне [12]. Поддерживает стандарты FIPA [13].

В качестве обобщения можно сделать вывод о том, что традиционные объектно-ориентированные подходы программирования нашли отражение в построении таких систем. Агенты являются частью механизмов и философии, используемых объектов. Данный подход получил отражение в системах, используемых для поддержки объектно-ориентированных систем [14].

Будучи сложной парадигмой мильтиагентные системы также требуют и создания онтологий, которые позволят формально определить типы, свойства и отношения между интеллектуальными агентами. Несколько базовых средств разработки появились в онтологиях, например есть дополнительные библиотеки для языка веб-онтологий (OWL) [15].

В [16] предложена методика проектирования защищенных встроенных устройств на примере системы охраны периметра. Авторы предлагают поиск наилучших комбинаций компонентов защиты на основе решения оптимизационной задачи. Такая методика может быть в дальнейшем адаптирована под задачи защиты помещений. В [17] авторы рассматривают возможность разработки архитектуры параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей, однако авторы ставили перед собой цель защитить информацию в IoT сети от нарушителя.

Анализ работ показал, что на сегодняшний день многие известные базовые средства разработки мультиагентных систем позволяют моделировать КСБ для защиты помещений. Однако исследовательских проектов, ориентированных на такие разработки, не проводилось.

Архитектура системы

Рассмотрим общую архитектуру мультиагентной системы киберфизических устройств для решения проблем управления и контроля безопасности периметра (рис.1).

 

23-09-2019 17-20-42

Рис. 1 – Архитектура мультиагентной системы киберфизических устройств

  1. Уровень агрегации включает в себя технические системы защиты периметра, которые ранее были установлены в помещении, например системы контроля управления доступом, структурированные кабельные системы. Мультиагентная система киберфизических устройств наследует на уровне агрегации политики безопасности, разрешительные системы доступа в помещения, требования к визуализации событий безопасности. На уровне узла агрегации определяется целевая функция системы в целом.
  2. Уровень периферии в архитектуре системы КСБ для защиты помещения отвечает за функции жизнеобеспечения интеллектуальных, мобильных агентов в целом. Сюда входят устройства сетей передачи данных и др. По сути, элементы данного уровня не нацелены на поиск нарушителя в помещении, но они отвечают за безопасность системы в целом.
  3. Уровень сбора данных в архитектуре мультиагентной системы киберфизических устройств, обеспечивающей защиту помещений, содержит два типа агентов: (1) стационарные; (2) мобильные. Каждый агент на уровне сбора данных может пассивным членом системы и активным. Устройство может собирать информацию и передавать, а может запрашивать сведения у пассивных агентов и обрабатывать. Такая сегментация позволяет распределить нагрузку в децентрализованной системе в зависимости от аппаратной мощности устройства.

В отличие от существующих решений, предлагаемая архитектура основана на разработке специализированной системы мониторинга помещения. Для реализации подхода предполагается разработка мультиагентной системы мобильных устройств, способных к построению модели окружающей среды, преобразованию ее в цифровой вид, и корреляции полученных данных как от одного агента, так и суммарных в системе, для обнаружения аномалий (подозрительной активности) и выявления нарушителей.

Эксперимент

В рамках данного исследования был проведен эксперимент, в котором имитировалась работа интеллектуальных агентов на компьютерах малой мощности, с использованием модульной структуры программной части для ее универсальности и доступности для использования на других устройствах. Цель эксперимента: показать возможность работы интеллектуального агента в условиях поступления большого количества запросов от устройств. А также получение среднего время обслуживания в разрабатываемой архитектуре мультиагентной системы киберфизических устройств.

Эксперимент проводился в условиях подключения всех агентов к одной локальной сети, при этом мобильные интеллектуальные агенты использовали Wi-Fi подключение.

Для реализации интеллектуального агента использовался:

  • микрокомпьютер Rasberry pi 3, как аппаратная платформа;
  • Java, ввиду кроссплатформенности языка программирования;
  • реляционная база H2, для хранения данных;
  • ОС Rasbian на дистрибутиве Linux

Данное решение отличается низкой стоимостью интеллектуального агента, простотой настройки.

Методика. При проведении эксперимента использовался прототип интеллектуального агента, в котором был заложен алгоритм генерации данных о помещении с дополнительной нагрузкой на систему. (Агент А)

В качестве дополнительной нагрузки была выбрана генерация массива с последующим делением каждого элемента на случайно подобранный делитель. Таким образом было заменено движение агента для исключения дополнительных факторов влияния на эксперимент

Идентичный агенту А был задействован интеллектуальный агент для тестирования возможности получения данных на реально работающей системе и получении среднего времени обслуживания. (Агент Б)

В рамках эксперимента данный агент создавал свою цифровую модель помещения на основе полученных данных (рис.2).

Интенсивность потока с данного агента составляла ~0,01 запроса/мс.

 

23-09-2019 17-22-46

Рис. 2 – визуальное отображение цифровой модели карты местности

 

Дополнительно были задействованы 2 стационарных агента (Агенты В1 и В2), нагружающие интеллектуального мобильного запросами данных, на каждый из которых мобильный агент формировал ответ. (рис.3).

Интенсивность формирования запросов ~ 3 запроса/мc. на каждом из агентов.

 

23-09-2019 17-23-52

Рис. 3 – Интерфейс агента, нагружающего систему

 

Согласно закону Литтла [18] долгосрочное среднее количество  заявок в стационарной системе равно долгосрочной средней интенсивности  входного потока, умноженной на среднее время  пребывания заявки в системе. Алгебраически,

23-09-2019 17-24-45   (1)

Другими словами, задача эксперимента выявить среднее временя пребывания заявки в общей мультиагентной системе.

Замер времени пребывания заявки в системе проводился агентом Б. Временем ответа на запрос считалось время с момента отправки запроса до момента получения ответа на этот запрос. Время отправки записывалось в реляционную базу данных на агенте Б с ID соответствующим пакету запроса, время ответа заносилось в соответствующую строку в отдельное поле. Разница данный отправки и ответа считалась временем обслуживания заявки в системе

При анализе данных были получены результаты по трем показателям, характеризующим взаимодействие между агентами для получения среднего времени обслуживания.

W – среднее время обслуживания (мс.)

λ – интенсивность потока на агенте A (запросов/мс.)

В первом случае учувствовали агенты А и Б где W составило менее 1 мс. при общем количестве ~30000 запросов от агента Б к агенту A, λ ~0,01 запроса/мс.

В втором случае был добавлен агент В1 для дополнительной нагрузки на агенте А и увеличения λ до ~3 запроса/мс.  от агента А к агенту Б составило менее 1 мс. при общем количестве ~30000 запросов от Б к А

Для проведения третьего взаимодействия дополнительно был задействован агент В1, который увеличил λ до ~6 запроса/мс. При этом W от агента А к агенту Б составило менее 1 мс. при общем количестве ~30000 запросов от Б к А.

Согласно полученным данным среднее количество заявок в системе на данном этапе ее разработки равно интенсивности запросов в системе.

Проведенный эксперимент также демонстрирует возможность программной реализации системы и взаимодействия между интеллектуальными агентами, используя стационарные и мобильные агенты, с возможностью обмена информации между ними. В рамках эксперимента показана теоретическая возможность построения киберфизической системы, подобной биологическим аналогиям, но имеющая свою логику, необходимую для достижения цели.

Обсуждение и выводы

В работе была разработана и проанализирована архитектура построения мультиагентной системы для решения проблем управления и контроля безопасности периметра. Был описан пример мобильного интеллектуального агента, необходимого для дальнейшей реализации описанного теоретического подхода контроля за помещениями.

В дальнейших исследованиях планируется:

  • разработка предложенного подхода и архитектуры;
  • модернизация элементов взаимодействия интеллектуального агента с окружающей средой;
  • внедрение в систему алгоритмов навигации
  • рассмотрение вопросов кооперации агентов для решения локальных задач, возникающие при кооперации проблемы использования общих ресурсов и ролей.
  • Рассмотрения вопросов внутренней безопасности (защиты от DDoS атак, выявление агентов-злоумышленников и др.)
Финансирование Работа выполнена при частичной поддержке бюджетной темы № 0060-2019-0010. Funding This work was partially supported within the budget work No. 0060-2019-0010.
Конфликт интересов Не указан. Conflict of Interest None declared.

Список литературы / References

  1. Городецкий В.И. Современное состояние и перспективы индустриальных применений многоагентных систем / Городецкий В.И., Бухвалов О.Л., Скобелев П.О. // Управление большими системами: сборник трудов. – 2017. – №66. – С. 97–157.
  2. Загитова А. И. Система поддержки жизненного цикла сложного технического объекта на основе агентных технологий / Загитова А. И., Кондратьева Н. В., Валеев С. С. //Вестник УГАТУ. – 2018. – Т. 22. – №. 2 (80). – С. 113-121
  3. Рындин Н.А. Рационализация архитектурного проектирования мультиагентных систем на основе многовариантной интеграции / Рындин Н.А., Сапегин С.В. //Вестник Воронежского государственного технического университета. – 2018. – Т. 14. – №. 6. – С. 33-37
  4. Найданов Д.Г. Онтологии в мультиагентных системах / Найданов Д.Г., Шеин Р.Е. // В сборнике: XII всероссийское совещание по проблемам управления ВСПУ-2014 Институт проблем управления им. В.А. Трапезникова РАН. 2014. С. 9044-9049.
  5. Десницкий В.А. Комбинированная методика проектирования защищенных встроенных устройств на примере системы охраны периметра / Десницкий В.А., Чечулин А.А., Котенко И.В., и др. // Труды СПИИРАН. 2016. Вып. 5(48). C.5-31.
  6. Котенко И.В. Архитектура системы параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей. / Котенко И.В., Саенко И.Б, Кушнеревич А.Г. // Труды СПИИРАН. 2018. Вып. 4(59). C.5-30.
  7. Leitao P. Recent Developments and Future Trends of Industrial Agents / Leitao P., Vrba P. // Proc. of «Holonic and Multi-Agent Sys-tems for Manufacturing» (HoloMAS-2011), Vol. 6867 of the se-ries Lecture Notes in Computer Science. Springer Verlag, 2011–2012. – P. 15–28.
  8. Műller J. Application Impact of Multiagent Sys-tems and Technologies: A Survey / Műller J., Fisher K. // In «Agent-Oriented Soft-ware Engineering» book series. – Springer, 2013. – P. 1–26.
  9. O’Brien P.D. FIPA—Towards a standard for software agents. BT Technol / O’Brien P.D., Nicol R.C. J. 1998, 16, 51–59.
  10. Bellifemine F. JADE—A FIPA-compliant agent framework. In Proceedings of the PAAM / Bellifemine F., Poggi A., Rimassa G. London, UK, 30 April 1999; Volume 99, p. 33.
  11. Cheyer A., Martin D. The open agent architecture. Auton. Agents Multi-Agent Syst / Cheyer A., Martin D. 2001, 4, 143–148.
  12. Ghadimi P. A multi-agent systems approach for sustainable supplier selection and order allocation in a partnership supply chain / Ghadimi P., Toosi F. G., Heavey C. //European Journal of Operational Research. – 2018. – Т. 269. – №. 1. – С. 286-301
  13. Zato C. PANGEA: A new platform for developing virtual organizations of agents / Zato C., Villarrubia G., Sánchez A., and others. Int. J. Artif. Intell. 2013, 11, 93–102
  14. Villarrubia G. Ambient agents: embedded agents for remote control and monitoring using the PANGEA platform / Villarrubia G., De Paz J.F., Bajo J. and others. Sensors 2014, 14, 13955–13979
  15. Briones A.G. Review of the Main Security Problems with Multi-Agent Systems used in E-commerce Applications / Briones A.G., Chamoso P., Barriuso A. ADCAIJ Adv. Distrib. Comput. Artif. Intell. J. 2016, 5, 55–61
  16. Sánchez A. A gateway protocol based on FIPA-ACL for the new agent platform PANGEA. In Trends in Practical Applications of Agents and Multiagent Systems / Sánchez A., Villarrubia G., Zato C. and others. Springer: Berlin, Germany, 2013; pp. 41–51
  17. Al-Azawi R.K. Comparing Agent—Oriented Programming Versus Object-Oriented Programming / Al-Azawi R.K., Ayesh A. In Proceedings of the ICIT 2013 The 6th International Conference on Information Technology, Amman, Jordan, 8–10 May 2013; pp. 24–29.
  18. Leon-Garcia A. Probability, statistics, and random processes for electrical engineering / Leon-Garcia A. – 2017.

 Список литературы на английском языке / References in English

  1. Gorodetsky V.I. Sovremennoye sostoyaniye i perspektivy industrial'nykh primeneniy mnogoagentnykh sistem [Current State and Prospects of Industrial Applications of multiagent Systems] / Gorodetsky V.I., Bukhvalov O.L., Skobelev P.O. // Upravleniye bol'shimi sistemami: sbornik trudov [Management of large systems: proceedings]. – 2017. – No. 66. – P. 97–157. [in Russian]
  2. Zagitova A. I. Sistema podderzhki zhiznennogo tsikla slozhnogo tekhnicheskogo ob"yekta na osnove agentnykh tekhnologiy [Life Support System for Complex Technical Facility Based on Agent Technologies] / Zagitova A. I., Kondratyev N. V., Valeev S. S. // Vestnik UGATU [Vestnik USATU]. – 2018. – V. 22. – No. 2 (80). – P. 113-121 [in Russian]
  3. Ryndin N.A. Ratsionalizatsiya arkhitekturnogo proyektirovaniya mul'tiagentnykh sistem na osnove mnogovariantnoy integratsii [Rationalization of Architectural Design of Multiagent Systems Based on Multivariate Integration] / Ryndin N.A., Sapegin S.V. // Vestnik Voronezhskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of the Voronezh State Technical University]. – 2018. – V. 14. – No. 6. – P. 33-37 [in Russian]
  4. Naydanov D.G. Ontologii v mul'tiagentnykh sistemakh [Ontologies in Multiagent Systems] / Naydanov D.G., Shein R.E. // V sbornike: XII vserossiyskoye soveshchaniye po problemam upravleniya VSPU-2014 Institut problem upravleniya im. V.A. Trapeznikova RAN [Collection: XII All-Russian Meeting on Management Problems of VSPU-2014 V.A. Trapeznikov RAS]. – 2014. – P. 9044-9049. [in Russian]
  5. Desnitsky V.A. Kombinirovannaya metodika proyektirovaniya zashchishchennykh vstroyennykh ustroystv na primere sistemy okhrany perimetra [Combined Design Technique for Protected Embedded Devices Using xample of Perimeter Security System] / Desnitsky V.A., Chechulin A.A., Kotenko I.V. and others// Trudy SPIIRAN [Transactions of SPIIRAS]. – 2016. – Issue. 5 (48). – P.5-31. [in Russian]
  6. Kotenko I.V. Arkhitektura sistemy parallel'noy obrabotki bol'shikh dannykh dlya monitoringa bezopasnosti setey Interneta veshchey [Architecture of Large Data Parallel Processing System for Monitoring Security of Internet of Things] / Kotenko I.V., Saenko I.B., Kushnerevich A.G. // Trudy SPIIRAN [Proceedings of SPIIRAS]. – 2018. – Issue. 4 (59). – P. 5-30. [in Russian]
  7. Leitao P. Recent Developments and Future Trends of Industrial Agents / Leitao P., Vrba P. // Proc. of «Holonic and Multi-Agent Sys-tems for Manufacturing» (HoloMAS-2011), Vol. 6867 of the se-ries Lecture Notes in Computer Science. Springer Verlag, 2011–2012. – P. 15–28.
  8. Műller J. Application Impact of Multiagent Sys-tems and Technologies: A Survey / Műller J., Fisher K. // In «Agent-Oriented Soft-ware Engineering» book series. – Springer, 2013. – P. 1–26.
  9. O’Brien P.D. FIPA—Towards a standard for software agents. BT Technol / O’Brien P.D., Nicol R.C. J. 1998, 16, 51–59.
  10. Bellifemine F. JADE—A FIPA-compliant agent framework. In Proceedings of the PAAM / Bellifemine F., Poggi A., Rimassa G. London, UK, 30 April 1999; Volume 99, p. 33.
  11. Cheyer A., Martin D. The open agent architecture. Auton. Agents Multi-Agent Syst / Cheyer A., Martin D. 2001, 4, 143–148.
  12. Ghadimi P. A multi-agent systems approach for sustainable supplier selection and order allocation in a partnership supply chain / Ghadimi P., Toosi F. G., Heavey C. //European Journal of Operational Research. – 2018. – Vol. 269. – №. 1. – P. 286-301
  13. Zato C. PANGEA: A new platform for developing virtual organizations of agents / Zato C., Villarrubia G., Sánchez A., and others. Int. J. Artif. Intell. 2013, 11, 93–102
  14. Villarrubia G. Ambient agents: embedded agents for remote control and monitoring using the PANGEA platform / Villarrubia G., De Paz J.F., Bajo J. and others. Sensors 2014, 14, 13955–13979
  15. Briones A.G. Review of the Main Security Problems with Multi-Agent Systems used in E-commerce Applications / Briones A.G., Chamoso P., Barriuso A. ADCAIJ Adv. Distrib. Comput. Artif. Intell. J. 2016, 5, 55–61
  16. Sánchez A. A gateway protocol based on FIPA-ACL for the new agent platform PANGEA. In Trends in Practical Applications of Agents and Multiagent Systems / Sánchez A., Villarrubia G., Zato C. and others. Springer: Berlin, Germany, 2013; pp. 41–51
  17. Al-Azawi R.K. Comparing Agent—Oriented Programming Versus Object-Oriented Programming / Al-Azawi R.K., Ayesh A. In Proceedings of the ICIT 2013 The 6th International Conference on Information Technology, Amman, Jordan, 8–10 May 2013; pp. 24–29.
  18. Leon-Garcia A. Probability, statistics, and random processes for electrical engineering / Leon-Garcia A. – 2017.