СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ ПОСТРОЕНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Барышок Е.С.¹, Хорошева В.В.², Тропченко А.А.³

¹ORCID: 0000-0002-6575-0991, магистрант кафедры Вычислительной Техники, Университет Информационных технологий механики и оптики, ²ORCID: 0000-0002-3585-7739, магистрант кафедры Вычислительной Техники, Университет Информационных технологий механики и оптики, ³ORCID: 0000-0001-9812-7947, кандидат технических наук, доцент кафедры Вычислительной Техники, Университет Информационных технологий механики и оптики

СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ ПОСТРОЕНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Аннотация

Для реализации дополненной реальности в музейном пространстве, были рассмотрены типы построения дополненной реальности, алгоритмы и методы визуализации объектов на основе различных технологий, а также проанализированы решения построения дополненной реальности с использованием маркеров и без них. По проведенному анализу осуществляется выбор наиболее подходящих алгоритмов построения объектов и методов распознавания места их отображения для решения конкретной задачи - организации музейного пространства.

Вторым аспектом стало улучшение “качества внедрения” моделей дополненной реальности в реальный мир. То есть повышение реалистичности объектов и “стирание” границы между компьютерной графикой и объектами физического мира.

Ключевые слова:  дополненная реальность, метод, маркер, методы обнаружения признаков, трекинг, визуализация.

Baryshok E.S.¹, Khorosheva V.V.², Tropchenko A.A.³

¹ORCID: 0000-0002-6575-0991, Master of Science in Computer Engineering, Saint-Petersburg State University of Information Technologies, Mechanics and Optics, ²ORCID: 0000-0002-3585-7739, Master of Science in Computer Engineering, Saint-Petersburg State University of Information Technologies, Mechanics and Optics, ³ORCID: 0000-0001-9812-7947, Phd in Engineering, Associate Professor of the Department of Computing Engineering, Saint-Petersburg State University of Information Technologies, Mechanics and Optics

COMPARATIVE ANALYSIS OF TECHNOLOGIES OF ADDITIONAL REALITY CONSTRUCTION

Abstract

In order to use augmented reality in the museum space, we have considered types of augmented reality constructions, algorithms and methods for visualizing objects on the basis of various technologies as well as solutions for building augmented reality using markers and without them. According to the results of the analysis, the most suitable algorithms for constructing objects and methods for recognizing the location of their mapping are selected to solve a specific problem –the organization of the museum space.

The second aspect of the paper is the improvement of the “quality of introduction” of models of augmented reality into the real world and namely the increase of the realism of objects and “blurring” the boundary between computer graphics and objects in the physical world.

Keywords:  augmented reality, method, marker, character detection methods, tracking, visualization.

Дополненная реальность (термин, предложенный исследователем Томом Коделом в 1990 году) – технология, позволяющая человеку ощущать реальный мир вместе с виртуальными объектами, наложенными на окружающую обстановку. В настоящее время популярность и востребованность дополненной реальности набирает обороты, однако в России этой сфере пока не уделяется достаточного внимания.

Целью данного исследования является подбор наиболее подходящего принципа построения дополненной реальности для конкретной задачи – использования дополненной реальности в музейных пространствах.

В соответствии с поставленной целью исследования необходимо было решить следующие задачи:

1. Произвести поиск и анализ существующих принципов построения дополненной реальности;
2. Предложить наиболее подходящие методики для использования дополненной реальности в музейных пространствах;
3. Проанализировать основные недостатки технологий дополненной реальности в музейном пространстве.

Для построения дополненной реальности одной из важнейших составляющих в реализации является процесс отслеживания интересующего нас объекта в окружающей обстановке (так называемый Трекинг)[1, C.129].

В настоящее время  выделяют следующие  виды трекинга:

1. Акустический
2. Радиочастотный
3. Магнитный
4. Оптический
5. Инерциальный
6. Гибридный

Для осуществления первых трех видов трекинга необходимо специальное оборудование для отслеживания ультразвуковых волн, радиочастот и интенсивности магнитного поля. В случае реализации дополненной реальности в музейном пространстве такие виды трекинга не только сложны с точки зрения реализации, но имеют и другие недостатки. Так, например, скорость звука сильно зависит от факторов внешней среды, радиочастотные методы недостаточно точны, а магнитные методы подвержены помехам, создаваемыми другими электронными приборами.

Инерциальные методы обнаруживают координаты местонахождения пользователя с помощью таких приборов, как гироскоп, GPS-приемник, акселерометр, которые имеются почти во всех современных смартфонах. Такой метод применим для построения навигатора для автомобиля, в котором указывающие стрелки будут строиться прямо на дороге (см.рис.1), но в музейных пространствах он не будет удовлетворять требованиям  по точности (для GPS\Glonass приемника погрешность в 2-5 метров незначительна - однако может привести к отображению соседнего зала вместо текущего) . В  музейном пространстве использование только координат пользователя и его местоположения будет недостаточно: повернувшись к другому экспонату, наблюдатель останется в том же месте, однако визуализировать необходимо уже совсем другую модель.

Рис. 1 – Пример использования инерциального метода для построения маршрута в дополненной реальности

 

Оптические методы определяют местоположение объекта с помощью камер и с использованием различных алгоритмов компьютерного зрения.  В этом виде трекинга камера может определять положение объекта по характерным точкам, располагаясь при этом статически  (см.рис. 2а). Второй возможный вариант, когда камера будет отслеживать неподвижные точки окружающего пространства, двигаясь при этом вместе с наблюдателем (см.рис. 2б) [3, C. 3].

Рис. 2 – Расположение камеры статически (а) и на наблюдателе (б)

 

В музейном пространстве подразумевается, что посетителей будет большое количество, и каждому из них необходимо построить дополненную реальность с учетом местоположения каждого человека в отдельности. Поэтому второй рассмотренный вариант выглядит наиболее подходящим. В качестве камеры может использоваться смартфон или очки дополненной реальности, в качестве наблюдателя – посетитель.

Все описанные методы далеко не идеальны и имеют свои недостатки, поэтому для решения многих задач применяется так называемый гибридный метод. Он заключается в объединении и комбинации различных видов отслеживания.

Так как оптический метод кажется наиболее простым и подходящим для решения поставленной задачи, то остановимся подробнее именно на нем. Помимо различий в расположении камеры, оптический метод разделяется еще на два вида трекинга:

1. Трекинг на маркерной основе;
2. Трекинг без использования маркера.

Второй способ обычно не учитывает масштабы объектов дополненной реальности и его местоположение. Пользователю необходимо вводить дополнительную информацию для построения объектов, что уменьшает эффект погружения в дополненную реальность. А учитывая, что большинство посетителей музеев - люди, не обладающие необходимыми компетенциями, такой интерфейс может быть чересчур сложен и непонятен. Поэтому процесс обучения и познания мира, что является первоочередной задачей музея, превратится в игровой процесс, отвлекающий посетителей.

В то же время для реализации трекинга на основе маркера потребуются только камера посетителя и заранее подготовленное место на платформе экспоната. Учитывая, что подготовка происходит всего один раз, для всех пользователей и не зависит от них, данный способ выглядит более приоритетным [2, C.2].

Под маркером понимается некий физический (не виртуальный) объект, расположенный в окружающем пространстве, который распознается и анализируется с помощью специально реализованных алгоритмов и служит для визуализации заранее заданных виртуальных моделей. Маркером может быть любой объект или его часть, но чаще всего в качестве маркера используется распечатанное на бумаге специальное изображение, такое, чтобы алгоритмы компьютерного зрения могли безошибочно и однозначно его распознать. Такой вид трекинга возможен только в пределах прямой видимости маркера.

Различные типы создания и распознавания маркеров, привели к появлению различных технологий поиска. Основными являются: генетические алгоритмы поиска и методы обнаружения признаков (feature detection).

Генетические алгоритмы используются для поиска определенного объекта на статическом изображении или видеопотоке, путем предварительно обучения алгоритма на большом количестве верных и ложных изображений. Такой алгоритм может быть применим к рассматриваемой задаче, так как с его использованием сразу решается проблема неверного распознавания объекта, например, при просмотре экспоната посетителем с различных ракурсов.

Группа методов, основанная на обнаружении признаков (feature detection), в качестве маркеров использует объекты реального мира или какую-то их часть. К таким методам относятся распознавание контуров, опорных точек или поиск по шаблону. Эти методы наряду с другими могут быть использованы для распознавания специальных изображений или объектов - маркеров, заранее подготовленных и расположенных на месте визуализации объектов дополненной реальности.

Таким образом в музейном пространстве есть возможность использования различных типов маркеров и алгоритмов построения. Например, в качестве примера для маркера можно использовать платформу динозавра, и перед посетителями визуализируется модель динозавра в практически натуральную величину, позволяя представить себе масштабы этого древнего животного. Или скелета рыбы на которой появится ее “живой” образ.

Однако не стоит забывать и об основных недостатках дополненной реальности в общем и существующих приложений в музейной среде в частности. Непонятный интерфейс, ограниченное использование технологий дополненной реальности, низкая реалистичность и отсутствие освещенности, теней и низкая детализация могут легко оттолкнуть пользователей от использования данных технологий.

Одним из факторов отталкивающих от дополненной реальности является вывод дополнительной информации об экспонате на экране и так перегруженного информацией смартфона, хотя информация распечатанная на листе бумаги рядом с экспонатом будет гораздо удобнее. Но явным преимуществом является то, что производительность мобильных устройств и технологии компьютерной графики позволяют визуализировать полномасштабную модель экспоната, которого нет возможности представить в данном музее. При этом можно рассмотреть экспонат со всех сторон в мельчайших деталях и подарить посетителям возможность хотя бы частично прикоснуться к истории.

Однако для достижения такого эффекта необходимо помнить и о реалистичности модели. А для этого, в первую очередь,  необходимо  уделить внимание освещенности модели, его падающей тени и отражениям. Например, использование метода Ambient Occlusion, который применяется в компьютерной графике и игровой индустрии, даст возможность повысить реалистичность модели, за счет затененности (см.рис.3), при сравнительно незначительных затраченных ресурсах.

 

Рис. 3 – Метод Ambient Occlusion

Ambient Occlusion - глобальная модель затенения, позволяющая создать внутреннюю тень объекта, за счет использования расчета интенсивности света доходящего до каждой точки. Интенсивность вычисляется путем построения лучей во всех направлениях из определенной точки и анализа пересечения лучей с другими объектами или частей самого объекта (см.рис.4).

 

Рис. 4 – Принцип работы метода Ambient Occlusion

 

Модель AO позволяет более реалистично передать объемность объекта, нежели модель прямого освещения. Затенение A_b в точке p поверхности с нормалью N может быть рассчитано путём интегрирования функции видимости по полусфере Ω:

Еще одним методом, способный добавить объекту реалистичность, является метод построения освещения и отражения на основе изображения (Image Based Lighting). Принцип работы основывается на законе оптики об углах падения и отражения. Вокруг модели дополненной реальности строится сфера на которую проецируется изображение с камеры. И относительно наблюдателя возможно наложить на объект часть изображения, которое должно отражаться, симулируя поведение объектов в реальном мире.

Однако, так как мы не можем получить изображение за спиной наблюдателя, то на сферу будет накладываться только видимая часть. Из-за этого возможны неточности в отражениях и невозможность отражать объекты невидимые в камеру.

Но, несмотря на это, использование данного метода, поможет визуализировать объект компьютерной графики в изображение реального окружения с большей реалистичностью (см.рис.5). Повышая эффект погружения пользователя в дополненную реальность.

Рис. 5  – Пример использования Image Based Lighting

 

Таким образом, можно выделить, что для построения дополненной реальности в музейных пространствах из всех возможных рассмотренных методов  выделяется оптический метод трекинга с использованием маркеров,  как наиболее подходящий. При этом необходимо акцентировать внимание на повышении реалистичности (освещенность, блики, отражение окружающего пространства) объектов дополненной реальности и удобном интерфейсе. Для этого необходимо рассмотреть существующие методы в компьютерной графике, применение которых в дополненной реальности может существенно повысить качество, распространенность и доступность для простого пользователя приложений дополненной реальности в музейном пространстве.

Список литературы / References

1. Благовещенский И.А., Демьянков Н.А. Технологии и алгоритмы для создания дополненной реальности / Благовещенский И.А., Демьянков Н.А. // Моделирование и анализ информационных систем. – 2013. –С.129–138.
2. Xiang Zhang, Stephan Fronz, Nassir Navab. Visual Marker Detection and Decoding in AR Systems: A Comparative Study. / Xiang Zhang, Stephan Fronz, Nassir Navab // Proceedings of the International Symposium on Mixed and Augmented Reality, 2002. – С. 1–7.
3. Bimber O., Raskar R. Modern approaches to augmented reality / Bimber O., Raskar R. //ACM SIGGRAPH 2006 Courses. – ACM, 2006. – С. 3–5.

Список литературы на английском языке / References in English

1. Blagoveschhenskij I.A., Dem’jankov N.А. Tehnologii i algoritmy dlya sozdaniya dopolnenoy real’nosti [Technologies and algorithms for creating augmented reality] / Blagoveschhenskij I.A., Dem’jankov N.А.// Modelirovanie i analiz informacionnyh sistem [Modeling and analysis of information systems]. – 2013. –P.129–138. [in Russian]
2. Xiang Zhang, Stephan Fronz, Nassir Navab. Visual Marker Detection and Decoding in AR Systems: A Comparative Study. / Xiang Zhang, Stephan Fronz, Nassir Navab // Proceedings of the International Symposium on Mixed and Augmented Reality, 2002. – P. 1–7.
3. Bimber O., Raskar R. Modern approaches to augmented reality / Bimber O., Raskar R. //ACM SIGGRAPH 2006 Courses. – ACM, 2006. – P. 3–5.