THE SEARCH ALGORITHM OF THREE-DIMENSIONAL PRIMITIVES ON A SERIES OF IMAGES

Забара В.О.¹, Максимов П.В.²

¹студент; ²кандидат технических наук, доцент, Пермский национальный исследовательский политехнический университет

АЛГОРИТМ ПОИСКА ТРЕХМЕРНЫХ ПРИМИТИВОВ НА СЕРИИ ИЗОБРАЖЕНИЙ

Аннотация

Рассматривается алгоритм, позволяющий в процессе анализа серии изображений (кадров) замкнутого помещения определять местоположение и размеры трехмерных объектов, расположенных внутри помещения.

Ключевые слова: распознавание образов, автоматизация, дополненная реальность.

Zabara V.O.¹, Maksimov P.V.²

¹Student; ²PhD in Technical Science, associate professor, Perm National Research Polytechnic University

THE SEARCH ALGORITHM OF THREE-DIMENSIONAL PRIMITIVES ON A SERIES OF IMAGES

Abstract

An algorithm, that allows to perform an analyse of series of frames for determination the location and sizes of the three-dimensional object located indoors, is shown.

Keywords: pattern recognition, automation, augmented reality.

Одной из актуальных задач, возникающих при проектировании и реализации систем технического зрения машин и автоматизированных комплексов, создании систем управления является задача анализа информации, поступающей с технических устройств фото- видеофиксации, с ее последующей обработкой с целью распознавания границ трехмерных объектов, препятствий и пр. В рамках исследования ставится задача – разработать алгоритм, позволяющий в процессе анализа серии изображений (кадров) жилого помещения (например, комнаты) определять местоположение и размеры трехмерных объектов, расположенных внутри помещения.

В процессе создания 3D-модели комнаты по её 2D-изображению предложено использовать подход с применением активных моделей внешнего вида (АМВВ). Активные модели внешнего вида (Active Appearance Models) – это статистические модели изображений, которые путем разного рода деформаций могут быть подогнаны под реальное изображение. В нашем случае, статистической моделью является параллелепипед, именно его мы будем совмещать с объектами изображения. Объекты интерьера в итоге представляются образами в виде параллелепипедов, которые имеют свои характеристики (параметры, цвет).

Для упрощения определения ориентации помещения в плоском пространстве кадра предлагается ввести требование к снимку – в кадре должна быть видна часть потолка и угол между стенами, «подгонка» параллелепипеда, задающего положение стен и потолка в кадре (далее – главный параллелепипед) осуществляется по границам между потолком и стенами. Такой подход позволяет более простым способом находить объекты в комнате, а также устанавливать их размер относительно стен и других объектов. Простота нахождения, в данном случае, заключается в том, что большинство объектов располагаются вдоль стен, и для того, чтобы начать подгонку параллелепипеда к новому объекту, достаточно найти линии, перпендикулярные плоскости стены. Это значительно ускорит процесс распознавания.

Предварительным этапом процесса подгонки главного параллелепипеда (как и всех остальных параллелепипедов) является выделение контуров на изображении. Далее обученная система проводит поиск в верхней части кадра трапециевидных или угловых фигур. После выполняется сравнение полученных фигур на предмет глубины, за основание для «подгонки» главного параллелепипеда выбирается фигура с большей глубиной.

Существенным ограничением является невозможность определения глубины точек по одному лишь двухмерному изображению. В такой ситуации можно воспользоваться идеей, которая практикуется в 3D-кинематографе. Необходимо использовать стереоскопические изображения или набор изображений, снятых с разных точек. Принцип такой системы в том, что каждый глаз получает своё изображение, что даёт глубинное восприятие картины. Таким образом, для решения задачи необходимо провести анализ двух изображений, которые сняты оператором из близких друг относительно друга положений.

Для анализа глубины, достаточно сравнить расстояние между положениями реальной точки на рядом снятых кадрах, чем меньше такое расстояние, тем глубже находится точка. Введём следующее ограничение на снимок: все линии углов должны быть параллельны оси Z (вертикальны). Это делается для того, чтобы начать «подгонять» рёбра главного параллелепипеда по продлениям за пределы кадра, проходящим через самую глубокую точку и вертикально вниз по углу.

Чтобы осуществлять привязку к предметам, расставленным вдоль стен, необходимо обозначить плоскости этих стен. Так как границы пол–стена и потолок–стена обозначаются найденными ранее рёбрами, то они будут использоваться в качестве границ плоскостей. После предварительной фильтрации изображения с целью выделения контуров, проводится проверка контуров, перекрывающих плоскость стены. Проверка проводится на предмет того, являются ли контуры частями линий, принадлежащих плоскости стены.

В дальнейшем предполагается применить рассмотренный алгоритм распознавания образов объектов к анализу непрерывного видеосигнала с целью разработки программного модуля для систем дополненной реальности.

Литература

1. Забара В.О., Максимов П.В. Обзор методов, применяемых при решении задач распознавания образов // Международный научно-исследовательский журнал. –№8-1(27). –2014. –с.62-63.
2. Местецкий Л.М. Математические методы распознавания образов: курс лекций. – М.:МГУ, 2002. – 86 с.

References

1. Zabara V.O., Maksimov P.V. Obzor metodov, primenjaemyh pri reshenii zadach raspoznavanija obrazov // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal. –№8-1(27). –2014. –s.62-63.
2. Mesteckij L.M. Matematicheskie metody raspoznavanija obrazov: kurs lekcij. – M.:MGU, 2002. – 86 s.