Development of a Hardware and Software Complex for Visualization of Tactile Studies of the Blind and Visually Impaired
Development of a Hardware and Software Complex for Visualization of Tactile Studies of the Blind and Visually Impaired
Abstract
Every year, assistive technologies for the visually impaired are becoming more and more numerous in an attempt to make the specifics of their perception of the world around them less noticeable. In most modern developments for the blind and visually impaired, the goal of the software is to deliver information to the blind or visually impaired person. But there is not a single software module that allows teachers, visual impairment educators or other third parties to understand what information and in what sequence a visually impaired person perceives. Most developments for people in this category endeavour to convey information to them. But none of these applications can provide any statistical data to show the completeness and quality of information received by a blind or visually impaired person. In a number of completed or ongoing foreign and domestic developments, there is no module that provides information about the received information of a person with limited visual function. The presented work discusses the algorithm and method of creating a suitable hardware and software system for visualization of tactile studies of blind and visually impaired people.
1. Введение
В настоящее время процессы обучения и адаптации людей с ограниченными возможностями зрительной функции, требующие использования сторонних материалов, нуждаются в модернизации
.Люди с ограниченными возможностями зрительной функции или люди с ограниченными возможностями здоровья по зрению (люди с ОВЗ по зрению) – это люди, имеющие какие-либо недостатки в развитии зрительной функции. К ним относятся слабовидящие люди с остротой зрения от 0,05 до 0,2 на лучше видящем глазу с коррекцией зрения посредством очков или линз, а также незрячие
.Для обеспечения полноты информации, получаемой незрячим или слабовидящим человеком, рядом с ним непрерывно должен находиться педагог или специализированный работник
. Согласно этому, в оценке качества обучения человека с ОВЗ по зрению присутствует человеческий фактор: педагог должен тщательно следить, какие фрагменты ассистивных обучаемых материалов и в какой мере исследовал ученик.В современном мире одним из востребованных ассистивных средств для людей с ограничением зрительной функции являются рельефно-графические пособия, в том числе тактильные карты и планы, которые играют важную роль в обучении и социальной адаптации незрячих и слабовидящих граждан
, . В настоящее время изготовление рельефно-графических материалов, в том числе тактильных карт и планов, выполняется с использованием успешно зарекомендовавших себя методов: печать на микрокапсульной рельефообразующей бумаге и УФ-отверждаемыми чернилами. В ходе всего занятия рядом с учеником находится тифлопедагог, который внимательно наблюдает за тактильными исследованиями ученика и корректирует его ход обучения , , . Такой подход к обучению имеет определенные риски, основанные на человеческом факторе: у специалиста нет определенной опоры или статистических данных, основываясь на которые педагог мог бы подкреплять и подтверждать свои действия. Это обосновывается отсутствием блока сбора и анализа данных устройствах рельефно-графических пособий.Люди с ограниченными возможностями здоровья по зрению нуждаются не только в поддержке и специализированных материалах для познания и изучения мира, но и в инновационных методах обучения
, , , . По этой причине разработка программных решений для тактильных карт является крайне актуальным направлением. Решением выявленной проблемы является разработка метода визуализации тактильных исследований человека для людей с ОВЗ. Это может вывести обучение и адаптацию людей с ограниченными возможностями зрения на новый уровень.Таким образом, целью исследования является разработка программно-аппаратного комплекса для визуализации тактильных исследований человека.
Для достижения поставленной цели необходимо решить следующие задачи:
- проанализировать предметную область и выявить проблемную ситуацию при обучении и адаптации незрячих и слабовидящих людей;
- подобрать и обосновать инструментальные средства и технологии;
- выполнить разработку и тестирование программного обеспечения.
2. Методы и принципы исследования
Для реализации методики сбора и предоставления статистических данных, необходимо было обеспечить беспрерывное отслеживание тактильных исследований человека. Считывание и отслеживание тактильных исследований возможно реализовать двумя способами:
- встраивание дополнительного оборудования (датчиком) в поверхность рельефно-графических пособий;
- применение сторонних технологий для наружного анализа.
В первом случае необходимо модернизировать каждое из соответствующих средств датчиками касания. Для их корректной работы все тактильные датчики необходимо подключать к программированной плате посредством проводов. Для сокрытия, хранения и безопасного использования этой архитектуры необходимо изготовить специальную подложку в виде короба.
Каждый из тактильных датчиков будет отвечать за определенную область обучающего материала. При исследовании этой области, человек будет касаться датчиков подушечками пальцев. После этого на плату отправляется сигнал, содержащий информацию о номере и местоположении датчика. Специализированное программное обеспечение, содержащееся на микроконтроллере, обрабатывает поступившую информацию и визуализирует исследуемую область.
Такой подход к отслеживанию и визуализации имеет некоторые недостатки:
- высокие затраты. В каждое ассистивное средство необходимо встроить определенное количество датчиков и подключить микроконтроллер. Цена изготовления одного такого рельефно-графического пособия на уровень возрастёт в цене;
- сложность реализации. Помимо недешевой модернизации каждого обучающего материала необходимо разработать и изготовить короб для хранения электроники, поместить в него плату и провести от неё проводку ко всем датчикам;
- необходимость в тщательной апробации. Так как рельефно-графические пособия имеют различные размеры, необходимо подобрать оптимальное количество датчиков на определенную площадь обучающего материала. При этом необходимо учитывать особенности размаха кистей человека и вывести общие параметры;
- погрешность в визуализации. Встраиваемые датчики отвечают за определенную область, это подразумевает то, что если человека касается датчика, то он охватывает всю область сразу. Такое, к сожалению, происходит не каждый раз. При касании датчика, например, мизинцем, человек может и вовсе обойти большую часть привязанной к нему области стороной. В программе же отобразится, что данная территория обучающего материала была исследована определенным образом.
После анализа и выявления перечисленных недостатков можно сделать вывод, что такой метод реализации программно-аппаратного комплекса непременно возможен, но несёт за собой увеличение как себестоимости изделия, так и усложнения процесса его изготовления.
Рассмотрим возможность разработки без модернизации ассистивных средств, но с привлечением сторонних технологий для наружного анализа, а именно подвид искусственного интеллекта – компьютерное зрение, и использование сенсорной подложки в тандеме с ассистивными средствами.
В случае считывания тактильных исследований посредством расположения сенсорной подложки в тандеме с ассистивным средством, сенсор должен располагаться над обучающим материалом, а также должен быть подключен кабельным способом к ПК тифлопедагога. Как аналог связи – может быть реализована связь по Wi-Fi сети при помощи дополнительного модуля к сенсорной подложке.
При использовании данного способа сбора информации о тактильных исследованиях повышается их точность, но также добавляются следующие недостатки:
- сенсорная панель, располагаясь над ассистивным средством, частично «смазывает» его рельеф, повышая неточность и искажая передаваемую информацию. Для корректной работы без подобных критичных погрешностей необходимо встраивать сенсорную подложку в само ассистивное средство, или использовать её в совокупности со средствами из определенных материалов, хорошо проводящих теплообмен;
- при подключении нескольких подобных сенсорных панелей для проведения коллективных занятий, возникает большая нагрузка на кабельную сеть и повышается риск несчастных случаев во время занятия (больше кабелей – больше вероятности запнуться о них, в особенности учитывая, что на занятии находятся незрячие и слабовидящие ученики);
- само внедрение сенсорных панелей в ассистивные средства или использования их в тандеме с ними сильно нагружает себестоимость комплекса.
Учитывая все вышеперечисленные недостатки и достоинства, мы можем сделать вывод, что использование сенсорных панелей действительно может повысить корректность и полноту визуализации тактильных исследований человека, но только при использовании их в индивидуальном обучении, а также в тандеме не со всеми необходимыми ассистивными средствами для обучения. Для коллективных занятий такое решение не подойдёт.
В современном мире компьютерное зрение входит во все сферы нашей жизни: умный дом, беспилотные автомобили, видеонаблюдение и пр. С каждым днём его популярность становится всё больше благодаря его особенности – умение различать не только цвета и объекты, но и тело человека , . При его помощи можно не только определить часть тела человека по фотографии, но и отследить его перемещение по видеоряду.
При внедрении технологии компьютерного зрения в работу с ассистивными средствами, можно реализовать отслеживание кистей человека по видеоряду, построение скелета и определения местоположения каждой из подушечек пальцев. Для этого необходимо над рельефно-графическим пособием разместить веб-камеру и подключить ее к ПК или одноплатному компьютеру. При обнаружении кисти человека в поле своей видимости, программная часть комплекса будет получать пиксельное положение подушечек пальцев и визуализировать их. Это даст минимальную погрешность в конвертировании тактильных исследований в картинку.
Касаемо аппаратной части проекта закупка на каждое ассистивное средство веб-камеры и одноплатного компьютера не требуется. Необходимое обеспечение – по одному комплекту на каждого обучающегося в классе. Количество обучающихся высчитывается средним числом человек в классе. Если учреждение работает не с группами обучающихся, а в индивидуальном порядке – необходимое число аппаратного оборудования определяется средним или максимальным количеством учеником на одном занятии у всех тифлопедагогов. Оба варианта закупки выходя дешевле, чем при модернизации ассистивных средств посредством встраивания датчиков касания.
Таким образом, после рассмотрения двух вариантов достижения поставленной цели работы, более подходящим является привлечение сторонних технологий для наружного анализа. При его использовании ожидаются минимальные погрешности при визуализации, а также минимальные затраты на аппаратную часть проекта.
В целом программно-аппаратный комплекс включает в себя две главные составляющие – аппаратную часть и программную.
Аппаратная часть представляет собой специализированную установку, на которой размещены микрокомпьютер Raspberry PI model 4, веб-камера и блок питания.
Программная часть представляет собой специализированное программное обеспечение, устанавливаемое на персональный компьютер тифлопедагога.
Аппаратная часть отвечает за отслеживание тактильных исследований человека при помощи компьютерного зрения и передачу данных о них программной части. Та же, в свою очередь, отвечает за приём данных о тактильных исследованиях от одной или нескольких аппаратных установок, и их визуализацию в виде индивидуальных тепловых карт.
Как говорилось ранее, основа аппаратной части – микрокомпьютер Raspberry PI model 4 с подключенной к ней веб-камерой . Питание платы организовано двумя вариантами: автономно от литий-ионных батарей и от сети 220V. Предусмотрена индикация состояний таких как «Подключено», «В ожидании подключения», «Идентификация установки». Вся аппаратная часть располагается на штативе, собранном из двух алюминиевых трубок. Корпус под электронику аппаратной части и крепежи для трубок спроектированы и распечатаны на 3D принтере (рис. 1).
Рисунок 1 - Проектирование крепежных элементов
Рисунок 2 - Компонентная база аппаратной части
Для распознания тактильных исследований применяется технология ИИ – компьютерное зрение. При её использовании можно распознать как полностью тело человека, так и его отдельные части (лицо, руки и пр.). В связи с особенностями обучения, адаптации и познания мира незрячими и слабовидящими, о которых говорилось в первой главе, для решения поставленной задачи подходит трекинг рук.
Трекинг – это метод определения местоположения каких-либо известных движущихся объектов посредством камеры.
Для реализации трекинга рук веб-камера располагается над поверхностью с ассистивными средствами и руками обучающегося. После начинается транслироваться непрерывный видеопоток. Для анализа каждого изображения видеопотока применяется специализированная библиотека OpenCV (это библиотека для работы с алгоритмами компьютерного зрения), а именно надстройка над библиотекой CVZone.HandTrackingModule. Данная надстройка позволяет на каждом кадре определить наличие ладони при помощи обнаружения центра тыльной или внутренней частей. Если ладонь была обнаружена, радиус поиска увеличивается от центра на определенный коэффициент и определяется 21 опорная точка на всей поверхности ладони (рисунок 3).
Рисунок 3 - Расположение опорных точек на поверхности ладони
- принадлежность руки – правая или левая;
- пиксельные координаты каждой распознанной опорной точки (по Ох и Оу);
- изображение с отрисованной схемой скелета руки, включая 21 точку.
Как только была полностью распознана одна рука и алгоритм возвращает в программу массив с соответствующей информацией, начинается аналогичный поиск второй ладони. Весь описанный процесс в точности повторяется и для неё.
После того, как алгоритм вернул нам один или два массива с информацией о распознанных руках, необходимо обработать и отсеять лишнюю информацию. При проведении тактильного исследования человек задействуют не всю руку, а исключительно подушечки пальцев. Основываясь на этом, для визуализации тактильных исследований необходимо использовать не все опорные точки, а только 10 – по пять точек с вершин (подушечек) пальцев каждой руки, а именно точки под номерами 4, 8, 12, 16 и 20. Из массива выбираются соответствующие данные и заносятся в матрицу, представленную двумерным массивом. Размерность массива соответствует разрешению кадру с видеопотока и равна 600×400. Колонки сформированного массива отвечают за пиксели по вертикали, а строки – за пиксели по диагонали. Для наглядности назовём массивы, возвращаемые алгоритмом LH (left hand, левая рука) и RH (right hand, правая рука), а массив 600×400 – A.
Как только в программу из алгоритма ИИ поступает информация хотя бы об одной руке – начинается отбор пиксельных координат нужных точек. Программа выбирает из возвращенного массива LH/RH каждую точку и увеличивает соответствующее полученным координатам значение в массиве А.
Заполнение массива А идёт трёхфазным кругом, центром которого является пиксель, полученный из массивов LH/RH. Это обусловлено тем, что пиксель – чрезмерно малая по сравнению с областью тактильного восприятия пальца. Для того, чтобы максимально приблизить визуализацию тактильных исследований к их реальному состоянию, трёхфазный круг (рисунок 4) делится на 3 области:
- центральная – область радиусом Х, где Х ≤ 3 пикселя;
- средняя – область радиусом Х, где 3 пикселя < Х ≤ 6 пикселей;
- внешняя – область радиусом X, где Х > 6 пикселей.
Рисунок 4 - Трёхфазный круг
- большое количество и высокая длина USB кабелей;
- приобретение USB-хабов для увеличения количества USB портов;
- устройства становятся стационарными, закрепляются за определёнными рабочими местами;
- проблема масштабируемости. Чем больше устройств, тем больше требуется USB-хабов, проводов, дополнительного питания. Возрастает нагрузка на рабочий ПК «учителя».
В варианте с Wi-Fi в качестве коммуникации между частями комплекта отсутствуют выше перечисленные проблемы. Для WiFi не требуется различные кабеля, устройства становятся мобильными, соответственно появляется возможность перемещения устройства в любой области зоны действия Wi-Fi сети, а также без труда есть возможность переноса программно-аппаратного комплекса в другое помещение. Проблему масштабируемости Wi-Fi также решает. Wi-Fi роутер может поддерживать связь с огромным количеством устройств.
Таким образом, для коммуникации частей комплекса был выбран метод передачи данных по сети Wi-Fi. Но в большинстве организаций помимо ноутбуков используются стационарные компьютеры, у которых отсутствует Wi-Fi адаптер. Также порт для подключения сетевого кабеля в большинстве случает занят: к данному порту подключен сетевой кабель организации. Поэтому подключение внешнего USB Wi-Fi адаптера является единственным выходом. Исключением в данной ситуации являются ноутбуки, у которых Wi-Fi адаптер уже встроен в систему. Таким образом, Wi-Fi адаптер является вторым независимым интернет интерфейсом. Это позволяет не отключаться от основной сети организации, а также уменьшает риск возникновения непредвиденных ошибок.
В итоге мы имеем следующую схему взаимодействия частей комплекса: аппаратная часть подключена к специально настроенному роутеру, а программная – установлена на ПК, подключенного к Wi-Fi-адаптеру. Учительский компьютер (программная часть) посылает широковещательный запрос всем устройствам в сети. В ответ каждое устройство должно отправить о себе такие данные как IP адрес, MAC адрес и свое название для дальнейшей идентификации и подключения (рис. 5).
Рисунок 5 - Общение между модулями комплекса
Рисунок 6 - Обмен данными между модулями комплекса
3. Основные результаты
В ходе исследования разработан программно-аппаратный комплекс визуализации, состоящий из двух модулей: программного и аппаратного.
Программный модуль представляет собой специализированное ПО. Интерфейс программы представлен на рисунке 7.
Рисунок 7 - Программная часть
- подключение к одной или нескольким аппаратным установкам для получения данных;
- построение тепловой карты исследований каждого рабочего места ученика;
- сохранение результата визуализации и выведение статистики обучения для отчетности.
Результат тактильных исследований ученика представлен цветовым градиентом, где белый/синий цвет означает, что исследования не были проведены, а красный указывает на то, что область полностью изучена. После завершения сеанса визуализации построенную тепловую карту можно сохранить в удобных для пользователя форматах (pdf, jpeg).
Аппаратная часть представляет собой штатив с камерой, подключенной к микрокомпьютеру. Программное обеспечение, установленное на одноплатном компьютере, позволяет распознавать, отслеживать и передавать данные о тактильных исследованиях в базу данных по Wi-Fi сети. Комплекс работает в двух режимах: от литий-ионных аккумуляторов (время беспрерывной работы около 4 часов), и от электросети 220V.
Рисунок 8 - Программно-аппаратный комплекс визуализации
Разработка позволит образовательным учреждениям, занимающимся инклюзивным образованием, повысить эффективность процесса обучения школьников с ОВЗ по зрению и снизить затраты на его организацию за счет:
- возможности тифлопедагога контролировать, насколько полно школьник с ОВЗ по зрению усваивает учебный материал;
- возможности тифлопедагогу одновременно работать с большим количеством школьников с ОВЗ по зрению, что позволит увеличить нормативы комплектования классов, в которых обучаются дети с ОВЗ по зрению, и снизить затраты образовательных учреждений на обучение этих детей;
- возможности тифлопедагога дистанционно контролировать степень освоения учебного материала школьниками с ОВЗ по зрению.
4. Заключение
В результате реализован инновационный программно-аппаратный комплекс для визуализации тактильных исследований незрячих и слабовидящих. Он позволяет визуализировать тактильные исследования людей с ОВЗ в виде тепловой карты. Предполагаемые области использования:
- помощь тифлопедагогам в специализированных учебных учреждениях ;
- реализация возможности дистанционного обучения.
Реализация и дальнейшее развитие представленного программно-аппаратного комплекса поможет вывести обучение и адаптацию незрячих и слабовидящих людей на новый уровень.