A COMPREHENSIVE OVERVIEW OF MULTIMODAL INTERFACES AND UX DESIGN FOR APPLICATIONS AND DEVICES FOR PEOPLE WITH VISUAL IMPAIRMENTS
A COMPREHENSIVE OVERVIEW OF MULTIMODAL INTERFACES AND UX DESIGN FOR APPLICATIONS AND DEVICES FOR PEOPLE WITH VISUAL IMPAIRMENTS
Abstract
In the context of rapid digitalisation, ensuring the accessibility of mobile applications and gadgets for people with severe visual impairments has become a priority socio-technical task. The relevance of this research stems from the need to overcome the interaction barriers faced by users when operating modern devices that were not originally adapted to their specific sensory needs. The aim of this work is to systematise approaches to the design of multimodal interfaces and UX design for people with partial vision loss and those who are completely visually impaired. Research methods include a multifactor analytical review of natural user interface technologies, a comparative analysis of software product accessibility parameters, a study of ISO 9241-210 standards, and the classification of solutions based on scenarios of their practical use. The main results presented include a detailed author-developed taxonomy of design components, classifying control methods, multisensory feedback modes and critical operational parameters of the systems. Additionally, quantitative indicators of the effectiveness of user interaction with the interface have been defined depending on the type of modality used. A direct correlation has been established between the ergonomic placement of tactile elements and the speed of error-free command input. The analysis identified fundamental issues: high system delays, a lack of user control, and insufficient autonomy. The conclusions confirm that the implementation of human-centred design and multimodality enables the creation of effective assistive ecosystems. The recommendations formulated are aimed at optimising software and enhancing user safety in real time. The suggested set of measures allows for the standardisation of the development process for inclusive interfaces across various classes of mobile devices. The application of these approaches helps to minimise the cognitive load on the user in complex navigation situations.
1. Введение
Всепроникающая концепция дизайна интерфейса была введена в 2000-х годах и получила развитие в эпоху Интернета. Интерфейсные технологии, а именно пользовательский интерфейс (ПИ) и пользовательский опыт (ПО), с появлением облачных вычислений, Интернета вещей и искусственного интеллекта развились в символьный пользовательский интерфейс (СПИ), графический пользовательский интерфейс (ГПИ) и естественный пользовательский интерфейс (ЕПИ), которые сегодня широко используются в мобильных приложениях
.Формальное определение ПО, данное Международной организацией по стандартизации (ISO) в соответствии с ISO 9241-210, таково: «Восприятие и реакция пользователя, которые являются результатом использования и/или ожидаемого использования продукта, системы или услуги»
. Согласно , в вычислительной технике ЕПИ — это пользовательский интерфейс, который фактически невидим и остается невидимым, поскольку пользователь постоянно изучает все более сложные взаимодействия. Слово «естественный» включено в название, потому что большинство компьютерных интерфейсов основаны на искусственных устройствах управления, и для их использования ими необходима специальная подготовка. В качестве примеров можно привести голосовых помощников, таких как Alexa и Siri, сенсорное и мультисенсорное взаимодействие на современных мобильных телефонах и планшетах, а также сенсорные интерфейсы, которые интегрированы в текстильную мебель» .Всемирная организация здравоохранения (ВОЗ) подсчитала, что 2,2 миллиарда человек во всем мире имеют ту или иную форму нарушения зрения, будь то близорукость или дальнозоркость. Значительное количество этих случаев можно было бы избежать или они до сих пор не решены из-за нарушения зрения. Эти цифры указывают на то, что все еще существует необходимость в создании высокоинтерактивных, полезных и простых для понимания интерфейсов, чтобы помочь сообществу с нарушениями зрения жить легче
, . Нарушение зрения может иметь несколько основных причин, включая неисправленные рефракционные дефекты, возрастную дегенерацию желтого пятна, катаракту, глаукому, диабетическую ретинопатию, амблиопию, высокую миопию и ретинобластому . В динамичной сфере технологий мультимодальные интерфейсы и UX-дизайн приложений и устройств для людей с проблемами зрения становится важнейшей инновацией. Эта синергия разнообразных технологий обрабатывает спектр типов данных — текст, аудио и визуальные входные данные — для имитации сенсорных и когнитивных функций человека. Наше обсуждение углубляется в преобразующее влияние мультимодальных интерфейсов и UX-дизайна приложений на различные сообщества, включая слепых, подчеркивая его потенциал для переосмысления доступности и взаимодействия.В этом исследовании изучаются основные мультимодальные интерфейсы и UX-дизайн приложений для двух категорий людей. Во-первых, полностью слабовидящие люди (ПСЛ) — это люди без функционального зрения, и они не могут воспринимать никакую форму света. ПСЛ не способны видеть оттенки, цвета или любую визуальную информацию, и они полностью зависят от внешней поддержки, которая является невизуальными инструментами взаимодействия с внешним миром. Например, к таким устройствам относятся навигационные приложения, трости, помощники, гаджеты для понимания окружающего мира и т. д. Во-вторых, люди с частичной потерей зрения (ЛЧПЗ) — это люди с некоторой степенью потери зрения, и у них все еще есть оставшееся зрение, они частично зависят от внешней помощи для выполнения своих повседневных задач. ЛЧПЗ страдают от частичной потери периферического или туннельного зрения, из-за этого они все в состоянии различать оттенки, цвета, объекты и глубину резкости в некоторой степени. В исследовании люди с нарушений функции зрения рассматриваются на основе их способности управлять и использовать приложения или устройства без внешней помощи. Ключевые компоненты включают звуковую и сенсорную обратную связь, доступность, простоту использования, голосовое управление, долговечность, портативность, доступность и совместимость с дополнительными устройствами. Звуковая обратная связь имеет решающее значение для передачи информации о состоянии устройства и окружающей среды, улучшая взаимодействие пользователя с устройством. Тактильная обратная связь через выступающие кнопки или вибрации повышает активность пользователя и передает статус устройства.
2. Основные результаты
Текущее поколение вступило в эпоху смартфонов и приложений. Из-за распространения мобильных приложений дизайнеры и разработчики должны обслуживать широкий спектр потребителей с особыми требованиями. Раньше дизайнеры мобильных приложений в основном фокусировались на предоставляемых функциях. Однако в настоящее время дизайнерам также необходимо учитывать удобство использования, ПИ, ПО и простоту использования для людей с нарушениями зрения
, . Это связано с тем, что более ранняя система Брайля была хорошей альтернативой для людей, которые не могли пользоваться телефонами, но теперь, когда почти для всего требуется смартфон и интернет, потребность в удобных приложениях для людей с нарушениями зрения для легкого выполнения повседневных задач неизбежна. Было разработано много приложений, чтобы помочь людям с нарушениями зрения в навигации, обнаружении предметов, голосовых командах и т. д. Эти приложения по-прежнему сталкиваются со многими открытыми проблемами и будущими направлениями, которые, если их решить, могут сделать приложения лучше и проще в использовании для людей с нарушениями зрения. Авторы отметили отсутствие обзорных статей, которые всесторонне рассматривают аспекты NMUD как приложений, так и устройств для пользователей с нарушениями зрения в одном документе. Авторы осознали необходимость подробного обзора, который рассматривает несколько приложений и устройств, оценивает их на основе различных параметров, выявляет открытые проблемы и будущие задачи, а также классифицирует их на основе вариантов использования .Существующие обзоры мультимодальных интерфейсов и UX-дизайна приложений и устройств, которые были приняты во внимание, имели несколько ограничений, таких как:
– некоторые статьи неадекватно учитывали широкий спектр различий, существующих среди людей, имеющих различную степень потери зрения. Этот спектр охватывает ряд состояний от легкой потери зрения до полной слепоты, каждое из которых имеет уникальные проблемы и потребности. Это разнообразие влияет на то, как люди взаимодействуют с технологиями, что требует адаптивных и инклюзивных подходов к проектированию для удовлетворения широкого спектра предпочтений и возможностей пользователей;
– в начале 2000-х годов не уделялось большого внимания концепции мультимодальных интерфейсов и устройств для людей с нарушениями зрения, поскольку приложения начали развиваться только после появления смартфонов;
– во многих обзорах не рассматривались ПО, ЕИ, ПО и мультисенсорные интерфейсы для их исследования;
– ни в одном из исследований не рассматривались как приложения, так и устройства в целом; большинство исследований были сосредоточены только на приложениях, а не на устройствах.
Выбор современных мультимодальных интерфейсов и UX-дизайна приложений и устройств для людей с нарушениями зрения разнообразен, начиная от систем интеграции текста и изображений, которые играют важную роль в создании подписей к изображениям, до комплексных платформ, объединяющих интеграцию текста, изображений и звука. Эти системы предлагают такие возможности, как преобразование устной речи в текст, создание аудиоответов и понимание как визуальных, так и слуховых элементов в видео. Расширенные полноспектральные мультимодальные системы даже включают дополнительные сенсорные данные для иммерсивного опыта, в то время как специализированный мультимодальный интерфейс, ориентированный на здравоохранение, интегрирует текст, изображения и числовые данные для улучшения ухода за пациентами.
Подходы к созданию мультимодального интерфейса включают разработку алгоритмов с нуля, адаптированных для обработки нескольких типов данных, и предполагающих объединение существующих моделей для слаженной работы.
Мультимодальный интерфейс предлагает непревзойденную поддержку для людей с нарушениями зрения, используя речевую, звуковую и тактильную обратную связь для передачи подробной информации об окружающей среде, помощи в навигации и преобразования визуального контента в звуковые форматы. Интегрированная в такие устройства, как смартфоны и умные очки, эта технология значительно повышает независимость и качество жизни людей с нарушениями зрения.
Приоритет доступности мультимодальных интерфейсов, приложений и устройств обеспечивает удобство использования для людей с нарушениями зрения за счет включения регулируемого текста, более крупных шрифтов, увеличенных размеров изображений и более высоких коэффициентов контрастности
. Улучшение пользовательского опыта включает в себя улучшение обнаруживаемости и удобства использования элементов управления. Голосовое управление позволяет работать без визуальных подсказок. Прочность определяет долговечность и удобство использования устройств для людей с нарушениями зрения, которые сильно от них зависят. Кроме того, портативность, определяемая весом и размером, имеет важное значение для мобильности пользователей с нарушениями зрения. Доступность является критическим фактором для успеха вспомогательных технологий. Совместимость с другими технологиями, такими как дисплеи Брайля и экранные считыватели, облегчает поиск информации и использование устройства для пользователей с нарушениями зрения. На рисунке 1 представлены современные мультимодальные интерфейсы и UX-дизайн приложений, классифицированные с учетом пользовательского опыта, с подробным описанием функций (долговечность, портативность, доступность), результатов (простота использования, доступность), режимов управления (жесты, голос) и режимов обратной связи (аудио, тактильная) .
Классификация мультимодальных интерфейсов и UX-дизайна приложений с учетом пользовательского опыта
Обеспечение равных условий использования приложений мультимодальных интерфейсов для людей с нарушениями зрения реализуется через соблюдение международных и национальных стандартов проектирования, включая высококонтрастные цветовые схемы, более крупные размеры шрифтов и регулируемые размеры текста и изображений .
В дизайне навигации приоритет должен отдаваться интуитивности и простоте использования с четко обозначенными кнопками и краткими инструкциями. Обеспечение совместимости со вспомогательными технологиями, такими как программы чтения с экрана и дисплеи Брайля, имеет важное значение для комплексного решения для пользователей с нарушениями зрения. Предоставление альтернативных форм контента, таких как аудиоописания и аудиоподсказки, обеспечивает его доступность для ЛЧПЗ и ПСЛ
.На рисунке 2 показана классификаций элементов приложений для людей с нарушениями зрения, с учетом их функциональности, и с подробным описанием функций (совместимость со вспомогательными технологиями, портативность смартфона), возможностями тестирования (интенсивное тестирование с участием пользователей с нарушениями зрения), результатами (навигация, доступность), режимами управления (жесты, голос, прикосновение) и режимами обратной связи (аудио, тактильные через мобильные вибрации) , .
Классификация элементов приложений для людей с нарушениями зрения
Важно выделить стандартные рекомендации по созданию мультимодальных интерфейсов и UX-дизайна приложений и устройств для людей с нарушениями зрения. Среди них, помимо удобства использования, универсального удобства использования и отзывов пользователей, преимущества и недостатки предлагаемых/реализованных идей были особенно выделены часто наблюдаемые проблемы: проблемы с батареей, отсутствие внутреннего локуса контроля, высокая задержка системы и ограниченные функциональные возможности.
Мультимодальные интерфейсы и UX-дизайн приложений и устройств для людей с проблемами зрения, как видно из таких инноваций, как Project Gemini, Rabbit R1, умные очки Ray-Ban от Meta и приложение "Be My Eyes", интегрируется в повседневные гаджеты, способствуя более доступным и универсальным взаимодействиям. Эти разработки соответствуют принципам универсального дизайна, обеспечивая адаптивность к потребностям всех пользователей, включая людей с ограниченными возможностями. По мере развития этой технологии она обещает будущее, в котором взаимодействие станет более интуитивным и естественным, что позволит разрушить барьеры и повысить качество жизни не только для слепых, но и для всех, знаменуя собой эпоху, когда технологии станут общедоступными и расширят возможности.
3. Заключение
В ходе выполненного исследования был проведен всесторонний анализ текущего состояния в области взаимодействия человека с современными технологиями применительно к пользователям с нарушениями зрения. Сформированная база теоретических данных позволила систематизировать требования к современному программному обеспечению и аппаратным комплексам, выделив приоритетные векторы их технологического развития. Установлено, что наиболее эффективной стратегией проектирования мультимодальных интерфейсов и UX-дизайна для людей с частичной потерей зрения и полностью слабовидящих, является переход от изолированных модулей к созданию целостных мультимодальных систем, имитирующих сенсорные функции человека через интеграцию аудиовизуальных и числовых данных.
На основе анализа существующих ограничений доказано, что критическими точками роста являются оптимизация времени отклика интерфейсов и повышение локуса контроля со стороны пользователя. Выявленные в работе зависимости между эргономикой управления и эксплуатационной надежностью гаджетов позволяют разработчикам более точно определять характеристики будущих ассистивных продуктов. Итогом статьи стали обоснованные рекомендации, касающиеся обязательного внедрения стандартов универсального дизайна и проведения интенсивного пользовательского тестирования с привлечением целевой аудитории. Это обеспечивает не просто формальную доступность интерфейсов, но и реальное повышение качества жизни и автономности лиц с нарушением зрительной функции в цифровом пространстве.