SIMULATION-CONTROLLED COMPUTER SYSTEMS IN SURGICAL PRACTICE

ИМИТАЦИОННО УПРАВЛЯЕМЫЕ КОМПЬЮТЕРНЫЕ СИСТЕМЫ В ХИРУРГИЧЕСКОЙ ПРАКТИКЕ

Обзорная статья

Казумян С.В.¹, Дегтев И.А.^2, *, Бадалян С.А.³, Орлова С.Е.⁴, Ершов К.А.⁵, Борисов В.В.⁶, Басин Е.М.⁷

¹ ORCID: 0000-0002-1420-0770;

² ORCID: 0000-0001-9256-8741;

³ ORCID: 0000-0001-6233-0775;

⁴ ORCID: 0000-0003-3588-1728;

⁵ ORCID: 0000-0003-4547-2821;

⁶ ORCID: 0000-0001-6233-0775;

⁷ ORCID: 0000-0003-1931-8062;

^1-6 Первый Московский государственный медицинский университет им. И.М. Сеченова Минздрава России, Москва, Россия;

⁷ Федеральный научно-клинический центр ФМБА, Москва, Россия

* Корреспондирующий автор (funnybarboss[at]mail.ru)

Аннотация

Работа хирургов в операционной наиболее требовательна к соблюдению правил асептики и антисептики. Руки хирурга должны быть как можно меньше подвержены заселению микроорганизмов. В настоящее время при хирургических манипуляциях используются компьютерные системы, которые необходимы для ведения проведения врачебных манипуляций. Устройства, например, клавиатуры, мыши, сенсорные экраны и световые приспособления являются потенциальными источниками инфекции или заражения в операционных. Решение данной проблемы представлено применением имитационно управляемых врачом компьютерных систем, таких как COTS, Kinect, Leap Motion, RGB-камеры, АМТ и CNN. Новое поколение инструментов, известных как коммерческие готовые устройства (COTS), обеспечивающие бесконтактное жестовое взаимодействие человека и приборов, изучается в хирургических средах. Одной из ведущей технологий для имитационной реабилитации является Microsoft Kinect, основанной на видео с использованием инфракрасного излучения для отслеживания движений тела пользователя. Контроллер Leap Motion чувствует естественное направление рук. AMT применяется в качестве модифицированного адаптивного мультипространственного преобразования. Двухпоточные CNN используются для распознавания действий на основе видео. В статье мы обобщили информацию о способах работы и применения данных компьютерных систем. Актуальность данного обзора подчеркивается отсутствием аналогичного на русском языке.

Ключевые слова: COTS, Kinect, Leap Motion, RGB-камеры, АМТ и CNN.

SIMULATION-CONTROLLED COMPUTER SYSTEMS IN SURGICAL PRACTICE

Review article

Kazumyan S.V.¹, Degtev I.A.^2, *, Badalyan S.A.³, Orlova S.E.⁴, Ershov K.A.⁵, Borisov V.V.⁶, Basin E.M.⁷

¹ ORCID: 0000-0002-1420-0770;

² ORCID: 0000-0001-9256-8741;

³ ORCID: 0000-0001-6233-0775;

⁴ ORCID: 0000-0003-3588-1728;

⁵ ORCID: 0000-0003-4547-2821;

⁶ ORCID: 0000-0001-6233-0775;

⁷ ORCID: 0000-0003-1931-8062;

^1-6 I.M. Sechenov First Moscow State Medical University, Moscow, Russia;

⁷ Federal Scientific and Clinical Center for Specialized Types of Medical Care and Medical Technologies the Federal Medical-Biological Agency of the Russian Federation, Moscow, Russia

* Corresponding author(funnybarboss[at]mail.ru)

Abstract

The work of surgeons in the operating room is most demanding towards compliance with the rules of asepsis and antiseptics. The surgeon's hands should be susceptible to the colonization of microorganisms as little as possible. Currently, during surgery, computer systems are used, which are necessary for conducting medical maneuvers. Devices such as keyboards, PC mice, touch screens, and lighting devices are potential sources of infection in operating rooms. The solution to this problem involves the use of man-operated computer systems, such as COTS, Kinect, Leap Motion, RGB cameras, AMT and CNN. A new generation of instruments known as commercial off-the-shelf devices (COTS), that provide non-contact gesture interaction between a person and devices, is currently being studied for surgical purposes. One of the leading technologies for simulation rehabilitation is Microsoft Kinect based on video using infrared radiation to track the movements of the user's body. The Leap Motion controller senses the natural direction of the hands. AMT is used as a modified adaptive multi-dimensional transformation. Two-threaded CNNs are used to recognize actions based on video. The authors of the article summarize data on the ways of operation and application of these computer systems. The relevance of this review is due to the lack of research in this field that is available in Russian.

Keywords: COTS, Kinect, Leap Motion, RGB cameras, AMT and CNN. 

Введение

Технологии, используемые в хирургической практике, развивались на протяжении последних 30 лет, в результате чего появилось более 5000 различных подходов для взаимодействия человека и машины в условиях операционной. Однако такое разнообразие систем влияет как на стоимость, так и на удобство их использования и может препятствовать широкому внедрению [1]. В настоящее время используется следующее поколение инструментов: COTS, Kinect, Leap Motion, RGB-камеры.

Все более распространяющееся присутствие технологий в операционной вызывает необходимость изучения взаимодействия между хирургом и компьютерной системой. Техники устройств COTS используются в хирургии для выявления ручных жестов и в качестве средства моделирования обучения двигательным навыкам в малоинвазивной хирургии. Наиболее широко используемыми устройствами COTS являются Microsoft Kinect и Leap Motion Controller. В стерильных условиях использование руки для работы с мышью, клавиатурой или сенсорным экраном недопустимо, поскольку это изменяет нормальный темп операции и нарушает протоколы асептики и антисептики [3], [4]. Распознавание действий человека является важным разделом изучения области компьютерного зрения, которая может быть применена в наблюдении, вспомогательной жизни и роботизированных системах, взаимодействующих с людьми. Хотя широко использовались различные подходы, недавние исследования в основном были сосредоточены на сетях глубокого обучения с использованием камеры Kinect, которые могут легко генерировать данные о скелетных суставах с использованием данных глубины и достигли удовлетворительных результатов. Для преодоления этих ограничений Корейским институтом промышленных технологий был разработан метод классификации действий человека в реальном времени с помощью одной RGB-камеры. Научные сотрудники интегрировали две библиотеки с открытым исходным кодом, то есть OpenPose и 3D-baseline, для извлечения скелетных соединений на RGB-изображениях и классифицировали действия с помощью нейронных сетей и создали мобильную роботизированную платформу, включающую встроенную плату NVIDIA JETSON XAVIER и алгоритм отслеживания для непрерывного наблюдения за человеком. Скелетные суставы были извлечены из изображения камеры RGB, и их движения были классифицированы с помощью CNN внутри встроенной платы. Для непрерывного наблюдения в закрытых условиях мы можем отслеживать человека, используя суставы скелета. Результат работы достиг точности 70% на обучающем наборе данных NTU-RGBD, и весь процесс был выполнен в среднем на 15 кадрах в секунду (FPS) на встроенной платной системе. Таким образом, был предложен метод, который может распознавать действия человека в режиме реального времени с помощью мобильного робота на встроенной системе. При учете размера мобильного робота была использована одна RGB-камера вместо камеры Kinect для достижения 3D-соединений скелета путем интеграции двух библиотек с открытым исходным кодом [5].

Также для достижения бесконтактного взаимодействия врача и робота на голове хирурга монтируется носимый датчик RGB-D, который позволяет вывернуть “наизнанку” его палец с помощью любого из дисплеев медицинской системы. Android-устройства со специальным приложением подключаются к компьютерам, на которых работают медицинские системы, имитируя обычную USB-мышь и клавиатуру. Когда хирург осуществляет взаимодействие с помощью указательных жестов, желаемое положение курсора на дисплее целевой медицинской системы и жесты преобразуются в общие события и затем отправляются на соответствующее Android-устройство. Наконец, приложение, работающее на устройствах Android, генерирует соответствующие события мыши или клавиатуры в соответствии 21с целевой медицинской системой. Для моделирования обстановки операционной комнаты существует уникальный пользовательский интерфейс, разработанный Мюнхенским техническим университетом, Национальным университетом оборонных технологий, хирургической клиникой и поликлиникой в Мюнхене и Университетом Джонса Хопкинса. Данный интерфейс был протестирован семью медицинскими участниками, которые провели несколько взаимодействий с визуализацией изображений КТ, МРТ и флюороскопии на различных расстояниях от них. Результаты системы и индекса рабочей нагрузки NASA-TLX показали, что предлагаемый нами пользовательский интерфейс полностью принят [15].

Существует потенциал для повышения эффективности и действенности имитационных реабилитационных технологий при инсульте. Имитационная реабилитация является разновидностью телереабилитации, при которой используют компьютерные технологии и интерфейсы для моделирования реабилитационных мероприятий или реабилитационной среды в реальном времени. Ведущей технологией для имитационной реабилитации является технология Microsoft Kinect, основанная на видео, которое использует инфракрасное излучение для отслеживания движений тела пользователя. Также данная компьютерная система обеспечивает бесконтактный жестовой интерфейс для навигации по системам архивирования изображений и связи во время операции [6], [8]. Были разработаны алгоритмы компьютерного зрения, позволяющие извлекать сигналы намерения из поведения(действий) хирурга и комбинировать их с сенсорными данными с камеры глубинного обзора. Разработанный интерфейс был протестирован для оценки эффективности нового интерфейса. Экспериментальные результаты показывают, что взаимодействие жестов и анализ поведения хирурга могут быть использованы для точной навигации, манипулирования и доступа к МРТ-изображениям, и поэтому эта технология может заменить использование интерфейсов на основе клавиатуры и мыши [7].

Leap Motion (Leap Motion, Inc, San Francisco, CA) Gesture Control- устройство, выпущенное в 2012-2013 годах. Взмахом руки или поднятием пальца можно управлять компьютерами - так говорят про свое творение создатели. Контроллер Leap Motion чувствует движение рук. В Итальянской Интегрированной Университетской Больнице для имитационного управления было выбрано приложение управления жестами, полученное из интернет-магазина Leap Motion: GameWave. Медицинские сотрудники настроили GameWave с помощью сочетаний клавиш OsiriX (прокрутка, масштабирование и 3D-вращение) для управления и перемещения магнитно-резонансной томографии, компьютерной томографии с мультипланарной реконструкцией и объемной 3D-реконструкцией во время живой операции. Испытуемая группа состояла из 8 медицинских работников: 2 общих хирурга, 1 уролога, 3 хирурга-ортопеда (один из них является экспертом по переломам таза) и 2 хирурга Веронского университета. Leap Motion располагался рядом с местом операции на стерильном листе, соединенном USB-кабелем с компьютером и мониторами, расположенными над или вокруг хирурга. Рабочее расстояние между Leap Motion и монитором не было проблемой благодаря удлинителю USB. Интересной особенностью стало использование Leap Motion для перемещения 3D-реконструкции переломов таза и суставов в ортопедической и ручной хирургии. Представленная система не требует сложной калибровки и может эксплуатироваться любым пользователем сразу же, после настройки сочетаний клавиш OsiriX. Таким образом, по результатам эксперимента была установлена положительная оценка использования Leap Motion [9].

Людям присущи перцептивные ограничения, такие как восприятие расстояния, и двигательные ограничения, физиологический тремор, данные ограничения мешают им работать достаточно точно и плавно для выполнения определенных задач. Для улучшения визуальных и практических характеристик интерфейса телеоперации применяется модифицированное адаптивное мультипространственное преобразование (АМТ). Этот метод включает в себя интерфейс с двумя процессами масштабирования, который связывает рабочее пространство человека-оператора и рабочее пространство робота. С помощью метода АМТ устройство может перемещаться на большой диапазон, даже если оператор делает небольшие движения. Для оценки положения человеческой руки устанавливают специальные точки, отмеченные на перчатке, а именно на кончиках указательных пальцев, ладоней и больших пальцев [3].

Двухпоточные CNN оказываются очень успешными для распознавания действий на основе видео. Однако данные системы являются дорогостоящими, главным образом из-за сложного расчета оптических потоков. Двухпоточный подход распознавания действий в реальном времени применяют с использованием вектора движения для замены оптического потока. Однако непосредственное обучение CNN векторам движения сильно ухудшает точность из-за шума и отсутствия мелких деталей в векторах движения. Для решения данной проблемы были предложены четыре стратегии обучения, которые используют знания, полученные от CNN, для повышения точности MV CNN. Таким образом, оценка оптического потока от последовательных видеокадров является одной из фундаментальных проблем компьютерного зрения и обработки изображений [12], [13].

Современные высокотехнологичные операционные залы приводят к довольно сложным хирургическим процессам, где хирургу приходится взаимодействовать с целым рядом устройств, включая свет операционной. Следовательно, в идеале хирург сможет направлять свет, не нарушая своей работы. Институтом робототехники и когнитивных систем Любекского университета была изучена возможность управления освещением автоматизированной операционной на основе отслеживания жестов. Всем испытуемым было удобно пользоваться системой, основанной на жестах, и они быстро научились перемещать световое пятно по плоской поверхности. Погрешность отслеживания руки зависит от направления и находится в пределах нескольких сантиметров, со стандартным отклонением менее 1 мм и до 3,5 мм ортогонально и параллельно ориентации пальца соответственно. Однако у испытуемых не было никаких проблем с прохождением еще более сложных дорожек шириной менее 10 см. Средняя скорость составляла 0,15 м/с, и даже изначально медленные испытуемые со временем значительно ускорились. Жесты для инициирования управления могут быть выполнены примерно за 2 с. Две трети испытуемых считали управление жестами простым, а большинство-достаточно эффективным [10].

Заключение

Имитационное управление компьютерными системами предоставило повышение безопасности и улучшение качества работы хирургов. Бесконтактное руководство такими технологиями обеспечивается благодаря использованию Kinect, который также применяется при реабилитации после инсульта, и RGB-камер. Создание интерфейса АМТ осуществило связь между рабочими пространствами врача и роботизированной техники. Разработка управления освещением автоматизированной операционной на основе отслеживания жестов снизила риск заселения микроорганизмами рук хирурга. Таким образом, распознавание действий человека является важным аспектом исследований в области компьютерного зрения, которая применяется при хирургических манипуляциях.

Конфликт интересов Не указан.

Conflict of Interest None declared.

Список литературы / References

1. Philipp S. Toward versatile cooperative surgical robotics: a review and future challenges / S. Philipp, S. Drobinsky, M. de la Fuente et al. // Int J Comput Assist Radiol Surg 2019 Oct; 14(10): 1673-1686.
2. Fernando Alvarez-Lopez. Use of Commercial Off-The-Shelf Devices for the Detection of Manual Gestures in Surgery: Systematic Literature Review / Fernando Alvarez-Lopez, Marcelo F. M., Francesc S. R. // J Med Internet Res. 2019 Apr 14;21(5): e11925.
3. Guanglong D. Human-manipulator interface using particle filter / D. Guanglong, P. Zhang, X. Wang. // ScientificWorldJournal. 2014: 692165
4. D'Antonio N. N. Computer keyboard covers impregnated with a novel antimicrobial polymer significantly reduce microbial contamination / Natalie N D'Antonio, J. D Rihs, J. E Stout, V. L. Yu. // Am J Infect Control. 2013 Apr; 41(4): 337-9
5. Junwoo L. Real-Time Human Action Recognition with a Low-Cost RGB Camera and Mobile Robot Platform / Junwoo, B. Ahn. // Sensors (Basel). 2020 May 19; 20(10): 2886
6. Stricklan M. Using a depth-sensing infrared camera system to access and manipulate medical imaging from within the sterile operating field / M. Stricklan, J. Tremaine, G. Brigley et al. // Can J Surg. 2013 Jun;56(3):E1-6
7. Mithun G. J. Hand-gesture-based sterile interface for the operating room using contextual cues for the navigation of radiological images / G. J. Mithun, P. W. Juan, A P. Rebecca // J Am Med Inform Assoc. 2013 Jun;20(e1):e183-6
8. Gerardo L. D. Person-Generated Health Data in Simulated Rehabilitation Using Kinect for Stroke: Literature Review / L. D. Gerardo, K. Gray, M. Merolli // JMIR Rehabil Assist Technol. 2018 May 8;5(1):e11.
9. Bizzotto N. Leap motion gesture control with OsiriX in the operating room to control imaging: first experiences during live surgery / N. Bizzotto , A. Costanzo, L. Bizzotto, et al.// Surg Innov. 2014 Dec;21(6):655-6.
10. Taghizadeh M. A comprehensive operating room information system using the Kinect sensors and RFID / Mahyar Taghizadeh, I. Nouei, A. Vahidian, et al. // J Clin Monit Comput. 2015 Apr; 29(2):251-61
11. Zhang B. Real-Time Action Recognition with Deeply-Transferred Motion Vector CNNs / B. Zhang, Limin W., Zhe Wang et al. // IEEE Trans Image Process. 2018 Jan 8
12. Long Tian. Unsupervised Learning of Optical Flow With CNN-Based Non-Local Filtering / Long Tian; Zhigang T.; Dejun Z. et al. // IEEE Trans Image Process. 2020 Aug 5;PP
13. Wikström E. The Safe Hands Study: Implementing aseptic techniques in the operating room: Facilitating mechanisms for contextual negotiation and collective action / E. Wikström, L. Dellenborg, L. Wallin et al. // Am J Infect Control. 2019 Mar; 47(3): 251-257
14. Ma M. Device- and system-independent personal touchless user interface for operating rooms: one personal UI to control all displays in an operating room / M. Ma, P. Fallavollita, S. Habert et al. // Int J Comput Assist Radiol Surg. 2016 Jun;11(6):853-61.