DEVELOPMENT OF A HEALTH INFORMATION SYSTEM WITH DECISION SUPPORT ELEMENTS IN CARDIOLOGY

Research article
DOI:
https://doi.org/10.23670/IRJ.2021.110.8.010
Issue: № 8 (110), 2021
Published:
2021/08/17
PDF

РАЗРАБОТКА МЕДИЦИНСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ С ЭЛЕМЕНТАМИ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В КАРДИОЛОГИИ

Научная статья

Демченко М.В.1, *, Фирюлина М.А.2, Каширина И.Л.3

1, 2, 3 Воронежский государственный университет, Воронеж, Россия

* Корреспондирующий автор (masha-vrn[at]yandex.ru)

Аннотация

Предлагаемое исследование посвящено описанию медицинской информационной системы (МИС), разработанной с целью сопровождения врача-кардиолога при обследовании и лечении пациентов с профильной патологией (заболеваниями сердечно-сосудистой системы). Данная система предоставляет возможности мониторинга и хранения показателей состояния здоровья пациента, а также назначения медицинских консультаций и плановых посещений. Система включает модуль искусственного интеллекта, на данный момент предоставляющего возможности по ранней диагностике и прогнозированию риска магистрального атеросклероза у всех обратившихся пациентов, а также по прогнозированию смертности пациентов, перенесших инфаркт миокарда. Данный программный продукт разработан на основе платформы .NET с использованием Angular, СУБД MS SQL Server и моделей машинного обучения на языке Python.

Ключевые слова: информационная система, веб-приложение, .NET, MS SQL Server, Angular, Python, атеросклероз, машинное обучение, диагностическая модель.

DEVELOPMENT OF A HEALTH INFORMATION SYSTEM WITH DECISION SUPPORT ELEMENTS IN CARDIOLOGY

Research article

Demchenko M.V.1, *, Firyulina M.A.2, Kashirina I.L.3

1, 2, 3 Voronezh State University, Voronezh, Russia

* Corresponding author (masha-vrn[at]yandex.ru)

Abstract

The study describes a health information system (HIS) developed for the purpose of accompanying a cardiologist during the examination and treatment of patients with special pathology (diseases of the cardiovascular system). This system provides opportunities for monitoring and storing indicators of the patient's health status as well as assigning medical consultations and scheduled visits. The system includes an artificial intelligence module, which currently provides opportunities for early diagnosis and prediction of the risk of major atherosclerosis in all patients who have applied, as well as for predicting the mortality of patients who have suffered a myocardial infarction. The software is developed on the basis of .NET using Angular, MS SQL Server DBMS and Python machine learning models.

Keywords: information system, web application, .NET, MS SQL Server, Angular, Python, atherosclerosis, machine learning, diagnostic model.

  1. Введение

Автоматизация и повышение эффективности рабочих процессов медицинских учреждений является одной из наиболее актуальных задач здравоохранения в настоящее время. Одним из необходимых условий развития современной медицины является разработка, внедрение и поддержка высокоэффективных информационных систем, нацеленных на оптимизацию использования многих ресурсов при оказании медицинских услуг [1], [2]. При этом важным фактором является использование в подобных системах современных телемедицинских технологий. Возможности дистанционной диагностики, в частности, хронических заболеваний, позволяют отслеживать и предупреждать опасные и критические состояния здоровья пациента, снизить количество посещений и госпитализаций пациентов, а также динамически верифицировать и корректировать назначенное лечение.

Благодаря непрерывному процессу информатизации и цифровизации современного общества к настоящему моменту накоплено множество данных, пригодных для дальнейшего исследования и применения при разработке интеллектуальных систем поддержки принятия врачебных решений. Накопленные массивы медицинских данных являются ценным источником информации при разработке систем искусственного интеллекта на основе методов машинного обучения.

Применение моделей машинного обучения в целях прогнозирования риска сердечно сосудистых заболеваний является одной из актуальных тенденций современной медицины, поскольку предполагает дополнительные преимущества по сравнению с традиционными подходами. Качественные модели машинного обучения могут повысить эффективность прогнозирования рисков за счет выявления новых предикторов риска и изучения сложных взаимодействий между ними. При этом важнейшими этапами реализации потенциальных преимуществ машинного обучения являются выбор правильной модели и тщательная настройка ее гиперпараметров [3].

Таким образом, основной целью создания предлагаемой информационной системы является обеспечение работы врача-кардиолога при обследовании и лечении пациентов с заболеваниями сердечно-сосудистой системы с элементами поддержки принятия врачебных решений на основе искусственного интеллекта и функцией дистанционного мониторинга за состоянием больных.

Текущий этап разработки МИС подразумевает ее дальнейшую апробацию и сбор медицинских данных с целью последующей интеграции информационной системы в различных медицинских организациях. 

  1. Описание медицинской информационной системы

Разработанная в рамках данного этапа исследования МИС предназначена для использования врачами-специалистами и выполнена в соответствии с рядом функциональных требований.

Перечень реализованных функций МИС:

  • Модуль для самостоятельной записи пациентов на прием.
  • Автоматическое объединение различных типов («блоков») медицинской информации для конкретного пациента на определенный момент времени или за определенный временной интервал.
  • Автоматический планировщик приема пациентов с перечнем поставленных заданий и отметками об их выполнении.
  • Поддержка принятия врачебных решений в отдельных задачах диагностики и лечения с использованием искусственного интеллекта.

Необходимым требованием к разрабатываемой информационной системе является соответствие требованиям законодательства и нормативным актам по защите персональных и медицинских данных (медицинских баз данных), а также хранению медицинской информации.

Диаграмма взаимодействия основных компонентов данной системы приведена на рис. 1.

Основным элементом рассматриваемой системы является веб-приложение, состоящее из нескольких компонентов.

Веб-сервис (.NET Framework [4]), предоставляющий возможность взаимодействия пользовательского интерфейса с основной логикой приложения и базой данных путем REST – запросов.

Пользовательский интерфейс разработан с использованием Angular 12.0 [5] и определяет основные компоненты взаимодействия пользователя с функциональностью приложения и его поведение в интерактивном режиме.

Веб-сервис машинного обучения (Flask [6]), обеспечивающий возможность вызова моделей машинного обучения в интерактивном режиме и последующего получения результатов (прогнозирования риска исследуемых заболеваний). Используемые модели машинного обучения были предобучены с использованием средств языка и библиотек Python [7].

02-09-2021 15-54-54

Рис. 1 – Описание информационной системы

 

Библиотека доступа к данным (.NET Framework) предоставляет доступ к основным репозиториям базы данных и позволяет оперировать основными сущностями приложения (считывать, добавлять, удалять, изменять). В качестве хранилища данных используется реляционная база данных MS SQL Server [8].

На рис. 2 представлены основные сущности используемой базы данных и их зависимости.

AspNetUsers – таблица пользователя приложения. Используется при авторизации в системе. Doctors – таблица врача. Для каждого доктора определены соответствующие часы приема (ConsultationHours), список назначенных консультаций (Appointments), а также отделение (Department), к которомму относится доктор (кардиологическое, терапевтическое и т.д.). Patients – таблица, содержащая сведения о пациентах. Items – словарь показателей (медицинских и др. параметров), фиксируемых при наблюдении за пациентом (статус курильщика, заболевания в анамнезе, рост, ИМТ, глюкоза, холестерин и т.д.) Measurements – таблица измерений показателей состояния здоровья пациента.

Список измерений используется как для визуального графического мониторинга текущего состояния обследуемого пациента, так и для прогнозирования риска атеросклероза и риска смертности от инфаркта миокарда (ИМ).

02-09-2021 15-55-23

Рис. 2 – Описание базы данных информационной системы

 

Диаграмма вариантов использования приложения, иллюстрирующая основные функциональные и визуальные компоненты МИС, а также возможные действия пользователя (врача-кардиолога), приведена на рис. 3.

02-09-2021 16-00-05

Рис. 3 – Диаграмма вариантов использования приложения

 

Блок «Расписание врача» предоставляет графические компоненты электронного расписания врача на день, неделю и месяц, позволяющие назначать медицинские консультации, плановые посещения, медицинские процедуры и т.д.

Блок «Карта пациента» содержит ряд функций, предназначенных для мониторинга показателей пациента, отслеживания истории посещений пациента, а также модуль для онлайн-прогнозирования риска атеросклероза и инфаркта миокарда на основании текущих показателей.

02-09-2021 16-02-04

Рис. 4 – Мониторинг систолического артериального давления

 

Данные, показатели и измерения пациента отображаются в виде таблицы в блоке «Текущие показатели». Также в данном модуле предусмотрена возможность вызова методов прогнозирования риска заболеваний с последующим отображением вычисленных значений риска.

Блок «Мониторинг» предназначен для графического отображения измерений показателей пациента (систолическое, диастолическое давление, измеренное на левой и правой руках), что проиллюстрировано на рис. 4.

Блок «История посещений» отображает историю обращений пациента в медицинское учреждение. Сохраняется и отображается дата и время обращения, отделение (терапия, кардиология и др.), ФИО врача, тип (консультация, обследование и др.) и статус (назначено, отменено, завершено).

  1. Описание модуля искусственного интеллекта

Значимым функциональным элементом разработанной системы является модуль искусственного интеллекта, включающий модели расчёта риска магистрального атеросклероза и риска смертности после инфаркта миокарда. Модели машинного обучения разработаны и могут использоваться независимо друг от друга, с учетом решения врача-кардиолога на основании анамнеза пациента. При этом планируется расширение данного модуля и разработка дополнительных диагностических моделей. 

3.1. Прогнозирование смертности от ИМ

Прогнозирование смертности от инфаркта миокарда (ИМ) и выявление значимых факторов, влияющих на эту смертность, является актуальной задачей, так как на долю сердечно-сосудистых заболеваний ежегодно приходится больше смертей, чем на любую другую причину

К настоящему времени разработан ряд медицинских инструментов расчета риска прогнозирования смертности от ИМ, таких как, например, шкала GRACE, предназначенная для поддержки принятия медицинских решений и обладающая высокой эффективностью, однако имеющая ряд ограничений. Точность краткосрочного прогнозирования выживаемости по шкале GRACE в разных исследованиях составляет от 0.75 до 0.85 по метрике AUC-ROC. Такие существенные различия связаны, в частности, с использованием в этой шкале лабораторных и гемодинамических показателей, которые подвержены существенным изменениям в течении короткого периода времени.

Повышение устойчивости качества предлагаемой в данном исследовании модели расчета риска смертности от инфаркта миокарда по сравнению со шкалой GRACE обеспечивается тем, что в качестве независимых входных признаков данная модель не использует лабораторных и гемодинамических признаков, однако учитывает ряд заболеваний в анамнезе (сахарный диабет, фибрилляция предсердий, хроническая сердечная недостаточность, острое нарушение мозгового кровообращения и др.), социально-демографических и др. факторов, информация о которых обязательно предоставляется в региональные регистры ИМ и следовательно, может напрямую извлекаться из них (таблица 1).

 

Таблица 1 – Список измерений для модели прогнозирования риска смертности инфаркта миокарда (ИМ)

Название Категория
Возраст Социально-демографические
Пол Социально-демографические
АГ (Артериальная гипертензия) Анамнез
Диабет Анамнез
ИМ (инфаркт повторный) Анамнез
СД (сахарный диабет) Анамнез
ФП (фибрилляция предсердий) Анамнез
ОНМК (острое нарушение мозгового кровообращ.) Анамнез
ХСН (Хроническая сердечная недостаточность) Анамнез
Локализация возникновения ИМ Анамнез
Время госпитализации/ измерения Дата и время
Класс KILLIP Анамнез
ТЛТ Анамнез
ЧКВ (чрескожное коронарное вмешательство) Анамнез
Атм. давление, температура, влажность Погодные факторы
 

Также в предлагаемой модели учитывались погодные факторы, автоматически собираемые с сайта rp5.ru, так как в некоторых исследованиях отмечается их влияние на выживаемость пациентов [3], [9].

Предлагаемая модель расчета риска смертности от инфаркта миокарда предназначена для учета медицинскими сотрудниками пациентов c повышенной вероятностью летального исхода целью дальнейшего принятия мер по своевременному предотвращению критических ситуаций. Использование модуля прогнозирования риска смертности рекомендовано для всех пациентов, недавно перенесших ИМ. Если риск смертности от ИМ высокий (от 80%), пациенту требуется немедленная госпитализация, дополнительная диагностика, корректировка лечения, а также непрерывный мониторинг.

Подробное описание модели прогнозирования смертности от ИМ приведено в [9]. Для обучения модели использовались деперсонифицированные данные обо всех 11326 пациентах, которые поступили в 2015 – 2017 гг. в больницы Воронежской области с диагнозом ИМ, из них 1947 (17.2%) случаев было с летальным исходом. Анализ данных и разработка моделей проводилась на языке программирования Python версии 3.6. Для построения модели был выбран один из популярных методов – градиентный бустинг, одним из преимуществ которого является высокая производительность, что имеет важную роль при работе с большими массивами данных. Результатом работы модели является вероятностное значение риска смертности пациента от инфаркта миокарда в течение 21 дня после перенесенного ИМ (данный период связан с во-первых, временем наблюдения за пациентами в обучающей выборке и, во-вторых, с существенным снижением риска смертности после 21-го дня).

Точность (агрегированная метрика AUC ROC) предлагаемой модели составила 0.858, что выше точности прогнозирования выживаемости по шкале GRACE, представленной в большинстве исследований.

3.2. Прогнозирование риска атеросклероза

Атеросклероз является одной из основных причин поражения сосудов и ишемических поражений органов у 70% пациентов в возрасте 40 лет и у 17% пациентов в возрасте с 13-19 лет, требуя своевременной диагностики и лечения на ранних стадиях. Многие из существующих методов диагностики атеросклероза являются крайне эффективными, однако дорогостоящими или травматичными для пациента, и потому не всегда доступными в условиях рутинной работы клиники.

Возникновение атеросклероза связывают с нарушениями липидного и белкового обмена, которые провоцируют повышенное АД, уровень холестерина, а также – курение. Эти показатели учитываются в шкале SCORE, позволяющей прогнозировать риск смертности от сосудисто-сердечных заболеваний в течение 10 лет.

Несмотря на то, что данная шкала является достаточно достоверной и широко используется во всем мире, можно отметить ряд ее недостатков. Во-первых, она автоматически определяет в группу низкого риска пациентов младше 40 лет, а в группу высокого риска – лиц старше 65, следовательно, шкалу SCORE нельзя считать чувствительной для лиц младше 40 лет. Во-вторых, шкала не подходит для краткосрочного прогнозирования риска. В-третьих, она выдает оптимистически заниженные результаты в периоды приема пациентами медикаментов, снижающих артериальное давление и уровень холестерина в крови.

Предлагаемый модуль прогнозирования риска магистрального атеросклероза представляет собой альтернативный быстрый неинвазивный способ, позволяющий улучшить диагностику атеросклеротического поражения артерий на этапе скрининга. Модель расчёта риска атеросклероза является гибким инструментом ранней диагностики, учитывающим, помимо общепринятых предикторов, ряд клинических, антропометрических, социально-демографических, гемодинамических и лабораторных факторов. В случаях выявления высокого риска атеросклероза врачом-кардиологом принимается решение о тщательной, в частности, инвазивной диагностике пациента и дальнейшая корректировка лечения.

Подробное описание модели прогнозирования риска атеросклероза приведено в [12]. В качестве исходной выборки для ее обучения был использован набор данных, предоставленный ВОКБ №1, содержащий результаты диспансеризации 522 жителей Богучарского района Воронежской области, у которых, помимо обязательных процедур, методом многоканальной объемной сфигмографии выполнялось синхронное измерение систолического (САД) и диастолического (ДАД) артериального давления на верхних и нижних конечностях, вычислялась их разница, а также автоматически рассчитывалось значение лодыжечно-плечевых индексов (ЛПИ) и показателей асимметрии на конечностях. Кроме того, фиксировались антропометрические, клинические, гемодинамические и др. показатели пациентов.

В результате работы с набором данных ВОКБ№ 1 была построена нейросетевая модель архитектуры MLP, качество которой оценивалось с помощью метрик чувствительности, специфичности и ROC AUC. На основании ряда входных диагностических параметров модель выдает в качестве результата вероятностное значение риска атеросклероза для пациента. В таблице 2 представлен список всех необходимых параметров для модели прогнозирования риска атеросклероза. Предполагается, что диагностика атеросклероза производится для каждого пациента при первичном обращении, а также может использоваться в скрининговых программах. При этом возможна, например, следующая интерпертация получаемой оценки.

  1. Если риск атеросклероза высокий (от 60%), пациенту требуется дополнительная диагностика, корректировка лечения, а также мониторинг с установленным врачом регулярным интервалом (зависящим от величины риска).
  2. Если риск атеросклероза средний (от 30% до 60%), возможны дополнительная диагностика, а также продолжение мониторинга с установленным врачом регулярным интервалом.
  3. Если риск атеросклероза низкий (до 30%), интервал регулярного мониторинга может быть увеличен.
 

Таблица 2 – Список измерений для модели прогнозирования риска магистрального атеросклероза

Название Категория
Возраст Социально-демографические
Курильщик Социально-демографические
Пол Социально-демографические
АГ (артериальная гипертензия) Анамнез
Диабет Анамнез
Стенокардия Анамнез
Аритмия Анамнез
ИМ (перенесенный инфаркт миокарда ) Анамнез
СД (сахарный диабет) Анамнез
ФП (фибрилляция предсердий) Анамнез
ОНМК (острое наруш. мозгового кровообращения) Анамнез
ХСН (Хроническая сердечная недостаточность) Анамнез
Рост Антропометрические
ИМТ Антропометрические
Глюкоза Лабораторные
Холестерин Лабораторные
САДпр (систолич. артер. давление на правой руке) Гемодинамические
ДАДпр (диастол. артер. давление на правой руке) Гемодинамические
ПДпр (пульсовое давление на правой руке) Гемодинамические
САДпр (систолич. артер. давление на правой руке) Гемодинамические
ДАДпр (диастол. артер. давление на правой руке) Гемодинамические
ПДлр (пульсовое давление на левой руке) Гемодинамические
САДпн (систолич. артер. давление на правой ноге) Гемодинамические
САДлн (систолич. артер. давление на левой ноге) Гемодинамические
ЧСС (частота сердечных сокращений) Гемодинамические
 

Точность (агрегированная метрика AUC ROC) предлагаемой модели составила 0.89.

  1. Дальнейшее расширение информационной системы

Рассматриваемое приложение подразумевает дальнейшее расширение и доработку в соответствие с рядом запланированных функций в рамках общей информационной системы динамического наблюдения, длительного сопровождения и предупреждения пациентов с различными сердечно-сосудистыми заболеваниями (ССЗ) на основе телемедицинских технологий. Следующие этапы разработки предполагают создание информационной системы, позволяющей с использованием мобильных устройств осуществлять мониторинг данных клинического состояния пациента (уровень артериального давления (АД), частоты сердечных сокращений (ЧСС), массы тела, режима приема лекарственных средств), метеорологических факторов и на основе алгоритмов искусственного интеллекта вырабатывать индивидуальные для каждого подключенного к системе пациента рекомендации по коррекции терапии и предотвращению обострения ССЗ, в том числе проводя в нужный момент оповещение лечащего врача, территориальной медицинской организации или службы скорой медицинской помощи.

Перечень запланированных функций информационной системы:

  • Облегченный перенос в приложение цифровых, текстовых и графических данных из различных сторонних медицинских протоколов и заключений, в том числе с использованием функции голосового ввода.
  • Наличие гибко настраиваемых запросов для поиска данных по группам пациентов и по отдельным пациентам, в том числе с формированием различных статистических отчетов.
  • Поддержка цифровой подписи.
  • Интерактивный модуль дистанционного контроля с помощью отдельного мобильного приложения за состоянием пациента по выбранным параметрам и сценариям.
  • Оценка краткосрочного прогноза на основании данных, полученных с помощью модуля дистанционного контроля за состоянием пациента.
  • Расширение модуля искусственного интеллекта.
  1. Заключение

В результате данного исследования была произведена разработка информационной системы, обеспечивающей автоматизацию рабочих процессов и поддержку принятия решений врача-кардиолога. Система предоставляет возможности хранения и мониторинга медицинских показателей пациентов, а также содержит модуль искусcтвенного интеллекта для прогнозирования риска атеросклероза и инфаркта миокарда.

Таким образом, разработанная система представляет собой многофункциональный инструментарий с возможностью дистанционного мониторинга показателей состояния здоровья пациента и онлайн-диагностики.

Данная система предполагает доработку существующей функциональности по итогу запланированной апробации и дополнительного сбора данных, а также дальнейшее расширение с учетом исходных требований к полной версии программного продукта. 

Финансирование Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-37-90029. Funding The reported study was funded by RFBR, project number 20-37-90029.
Конфликт интересов Не указан. Conflict of Interest None declared.

Список литературы / References

  1. Хохлов Р. А. Применение телекоммуникационных технологий для повышения эффективности лечения артериальной гипертонии / Р. А. Хохлов, О. Ю. Лавлинская, О. С. Филатова // Врач-аспирант. – 2013. – Т. 56. – С. 167-174.
  2. Хохлов Р. А. Применение информационных технологий для дистанционной терапии артериальной гипертонии / Р. А. Хохлов, О. Ю. Лавлинская и др. // Вестник Тамбовского университекта. Серия: Естественные и технические науки. – 2016. – Т. 21. – С. 2085-2092.
  3. Alaa A. M. Cardiovascular disease risk prediction using automated machine learning: A prospective study of 423,604 UK Biobank participants / Ahmed M. Alaa, T. Bolton, E. Di Angelantonio et al. // PLoS One. – 2019. – Vol. 14, № 5. – P. e0213653. DOI: 10.1371/journal.pone.0213653.
  4. Рихтер Дж. CLR via C#. Программирование на платформе Microsoft .NET Framework5 на языке C# / Дж.Рихтер. – 4-е изд. – СПб.: Питер, 2013. – 896 с.
  5. Файн Я. Angular и TypeScript. Сайтостроение для профессионалов / Я. Файн, А. Моисеев. – СПб.: Питер, 2018. – 464 с.
  6. Документация Flask [Электронный ресурс] –https://flask.palletsprojects.com/en/2.0.x/ (дата обращения: 06.22.2021)
  7. Документация Python [Электронный ресурс] – https://docs.python.org/3/ (дата обращения: 06.22.2021).
  8. Бен-Ган И. Microsoft SQL Server 2008. Основы T-SQL / И. Бен-Ган. – СПб.: БХВ-Петербург, 2009. – 432 с.
  9. Kashirina I. Building models for predicting mortality after myocardial infarction in conditions of unbalanced classes, including the influence of weather conditions / I. Kashirina, M. Firyulina // CEUR Workshop Proceedings. – 2020. – Vol. 2790, p. 188–197.
  10. Хохлов Р. А. Предикторы атеросклеротического поражения артерий конечностей по данным кардиоангиологического скрининга взрослого населения / Р. А. Хохлов,А. Э. Гайдашев,Н. М. Ахмеджанов // Рациональная фармакотерапия в кардиологии. – 2015. – Т. 11,№5. – С. 470-476.
  11. Хохлов Р. А. Использование многоканальной объемной сфигмографии для кардиоангиологического скрининга взрослого населения / Р. А. Хохлов,Н. И. Остроушко,А. Э. Гайдашев и др. // Рациональная фармакотерапия в кардиологии. – 2015. – Т. 11, №4. – С. 371-379. DOI: 10.20996/1819-6446-2015-11-4-371-379.
  12. Demchenko M. V. The development of the atherosclerosis diagnostic models under conditions of unbalanced classes / M. V. Demchenko, I. L. Kashirina // J. Phys.: Conf. Ser. – 2020. – Vol. 1479, p. 012026. DOI: 10.1088/1742-6596/1479/1/012026.

Список литературы на английском языке / References in English

  1. Khokhlov R. A. Primenenie telekommunikacionnyh tehnologij dlja povyshenija jeffektivnosti lechenija arterial'noj gipertonii [Application of telecommunications technologies to improve the effectiveness of treatment of arterial hypertension] / R. A. Khokhlov, O. Yu. Lavlinskaya, O. S. Filatova // Vrach-aspirant [Doctor-postgraduate student]. - 2013. - Vol. 56. - 167-174. [in Russian]
  2. Khokhlov R. A. Primenenie informacionnyh tehnologij dlja distancionnoj terapii arterial'noj gipertonii [Application of information technologies for remote therapy of arterial hypertension] / R. A. Khokhlov, O. Yu. Lavlinskaya et al. // Vestnik Tambovskogo universitekta. Serija: Estestvennye i tehnicheskie nauki [Bulletin of the Tambov University. Series: Natural and Technical Sciences]. - 2016. - Vol. 21. - pp. 2085-2092. [in Russian]
  3. Alaa A. M. Cardiovascular disease risk prediction using automated machine learning: A prospective study of UK Biobank participants 423,604 / Ahmed M. Alaa, T. Bolton, E. Di Angelantonio et al. // PLoS One. – 2019. – Vol. 14, No. 5. – P. e0213653. DOI: 10.1371/journal.pone.0213653.
  4. Richter George. CLR via C#. Programmirovanie na platforme Microsoft .NET Framework 4.5 na jazyke C# [CLR via C#. Programming on the Microsoft platform .NET Framework 4.5 in C#] / J. Richter. - 4th ed. - St. Petersburg: Peter, 2013 – - 896 p. [in Russian]
  5. Fine Ya. Angular i TypeScript. Sajtostroenie dlja professionalov [Angular and TypeScript. Site construction for professionals] / Ya. Fine, A. Moiseev. - St. Petersburg: Peter, 2018 – - 464 p. [in Russian]
  6. Dokumentacija Flask [Flask Documentation] [Electronic resource] –https://flask.palletsprojects.com/en/2.0. x/ (accessed: 06.22.2021) [in Russian]
  7. Dokumentacija Python [Python Documentation] [Electronic resource] – https://docs.python.org/3/ (accessed: 06.22.2021). [in Russian]
  8. Ben-Gan I. Microsoft SQL Server 2008. Osnovy T-SQL [Microsoft SQL Server 2008. Fundamentals of T-SQL] / I. Ben-Gan. - St. Petersburg: BHV-Petersburg, 2009 – - 432 p. [in Russian]
  9. Kashirina I. Building models for predicting mortality after myocardial infarction in conditions of unbalanced classes, including the influence of weather conditions / I. Kashirina, M. Firyulina // CEUR Workshop Proceedings. – 2020. – Vol. 2790, p. 188–197.
  10. Khokhlov R. A. Prediktory ateroskleroticheskogo porazhenija arteriĭ konechnosteĭ po dannym kardioangiologicheskogo skrininga vzroslogo naselenija [Predictors of atherosclerotic lesion of limb arteries according to cardioangiological screening of the adult population] / R. A. Khokhlov, A. E. Gaidashev, N. M. Akhmedzhanov // Racional'naja farmakoterapija v kardiologii [Rational pharmacotherapy in cardiology]. - 2015. - Vol. 11, No. 5. - pp. 470-476. DOI: 10.20996/1819-6446-2015-11-5-470-476. [in Russian]
  11. Khokhlov R. A. Ispol'zovanie mnogokanal'noj ob#emnoj sfigmografii dlja kardioangiologicheskogo skrininga vzroslogo naselenija [The use of multichannel volumetric sphygmography for cardioangiological screening of the adult population] / A. Khokhlov, N. I. Ostroushko, A. E. Gaidashev et al. // Racional'naja farmakoterapija v kardiologii [Rational pharmacotherapy in cardiology]. - 2015. - Vol. 11, No. 4. - pp. 371-379. DOI: 10.20996/1819-6446-2015-11-4-371-379. [in Russian]
  12. Demchenko M. V. The development of the atherosclerosis diagnostic models under conditions of unbalanced classes / M. V. Demchenko, I. L. Kashirina // J. Phys.: Conf. Ser. – 2020. – Vol. 1479, p. 012026. DOI: 10.1088/1742-6596/1479/1/012026.