СПОСОБЫ ОПРЕДЕЛЕНИЯ ХАРАКТЕРА ДВИЖЕНИЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

Вагнер В.И.¹, Вагнер А.В.², Тропченко А.А.³

¹ORCID: 0000-0001-5566-2421, Студент, Университет ИТМО, ²ORCID: 0000-0003-1757-3887, Студент, Университет ИТМО, ³ORCID: 0000-0001-9812-7947, Доцент, Университет ИТМО

СПОСОБЫ ОПРЕДЕЛЕНИЯ ХАРАКТЕРА ДВИЖЕНИЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

Аннотация

В работе предложена методика определения характера движения объектов, которая применима в задачах видеоаналитики. Такой подход позволяет детектировать движение и определять его скорость, в том числе при наличии шумов аппаратуры и в условиях различной освещенности. В работе поэтапно рассмотрен алгоритм действий, который включает в себя калибровку камеры, шумоподавление, распознавание движения, классификацию, трекинг и определение параметров и характера движения. Основное внимание уделяется методу определения скорости движения объектов в видеопотоке, поскольку по результатам работы этого алгоритма можно судить о характере движения объектов в кадре.

Ключевые слова: видеоаналитика, охранные системы, компьютерное зрение, трекинг.

Vagner V.I.¹, Vagner A.V.², Tropchenko A.A.³

¹ORCID: 0000-0001-5566-2421, Student, ITMO University, ²ORCID: 0000-0003-1757-3887, Student, ITMO University, ³ORCID: 0000-0001-9812-7947, Associate professor, ITMO University

METHODS OF DEFINITION MOVEMENT CHARACTER OF OBJECTS IN VIDEO SURVEILLANCE SYSTEMS

Abstract

Method of determining objects’ movement character that can be applied to video analytics is proposed. This approach allows detecting movement and determining its speed, including in the presence of camera's noise and with various lighting conditions. Algorithm consists of some steps, specifically of camera calibration, noise reduction, motion detection, classification, tracking and determination of parameters and motion’s character. The focus is on the method of determining the speed of objects’ movement in the video stream, because the results of this algorithm can define the character of the movement of objects in the frame.

Keywords: video Analytics, security systems, computer vision, tracking.

Одной из наиболее актуальных задач обработки видеоизображений является распознавание движущихся объектов и создание систем мониторинга. Главная функция таких систем — информирование человека о ситуации, сложившейся в поле зрения камеры. Но большинство общедоступных систем имеют ограниченный функционал и не решают задачи видеоаналитики.

Были исследованы алгоритмы, которые могут быть применены при решении задач видеоналитики в области охраны и обеспечения безопасности. В общем случае требования к алгоритмам, работающим в автоматизированных системах обнаружения движения, выглядят следующим образом:

• Низкая вычислительная сложность и обработка не менее 25 кадров видеопотока в секунду. Это самые важные характеристики, которые оцениваются в первую очередь при выборе методов;
• Устойчивая работа в любое время года и в разное время суток;
• Минимальное количество пропусков целевых объектов (например, таких, как человек движется в кадре, но ни он, ни его движение не распознано).
• Минимальное количество ложных срабатываний на шум аппаратуры;
• Минимальное количество срабатываний на объекты, не представляющие опасности для охраняемого объекта (качающиеся деревья, листва, и пр.);

Были использованы некоторые допущения, характерные для данной сферы: анализировались видеопоследовательности со статичной камеры, расположенной на высоте под углом к горизонту. Учитывалась траектория, динамика и скорость движения объектов на видео, а также объекты делились на целевые (люди) и нецелевые (неопознанные объекты). Подразумевается, что программная реализация исследуемых методов может использоваться для дополнительного привлечения внимания оператора к событиям, происходящим в поле зрения камеры. Для целевых объектов определяется характер движения – идёт/бежит за счет классификации по скорости. К подозрительным событиям относится длительное нахождение целевых объектов в охраняемой зоне или «неподвижное» состояние (объект стоит на месте). Подзадачи, на которые разбивается определение параметров движения, представлены на рисунке 1.

Рис. 1 - Используемые алгоритмы

Приведенные алгоритмы обеспечивают классификацию объектов и определение скорости их движения при различных условиях окружающей среды и минимальных затратах на оборудование.

Рассмотрим приведенные на рис.1 подзадачи подробнее. В первую очередь при работе с видео нужно производить калибровку камеры. Обработка изображений на данном этапе позволяет избавиться от искажений линз и относительного сдвига изображений. Существуют различные методы, решающие данную задачу, рекомендуется применять метод, основанный на использовании шахматной доски [1].

Следующий шаг - шумоподавление. Многие шумы можно приблизить моделью белого гауссовского шума, поэтому можно использовать фильтр Гаусса.

Для обнаружения движущихся объектов рекомендуется применять метод вычитания фона [2]. Для одноканального (в оттенках серого) изображения процедуру можно разбить на два этапа:

1.  Вычитание фонового изображения из текущего кадра видео. Данный шаг включает в себя попиксельное вычитание интенсивностей кадра видео и фонового изображения.
2.  Отбор пикселей, принадлежащих фону и объекту, –  построение бинарного изображения.  Считается, что пиксель принадлежит объекту и имеет белый цвет в бинарном изображении, если разность интенсивности фона и текущего кадра для данного пикселя превышает некоторое пороговое значение. Если на текущем кадре исследуемый объект темнее чем фон, то вычитание кадра из фона не приведет к корректным результатам, и наоборот, если объект текущего кадра светлее этой же области фонового кадра, вычитание фона из текущего кадра даст неверные результаты. Поскольку используется яркостная компонента, результатом разности изображений будут белые (для движущихся объектов) и серые (для теней) пиксели, если задать для них пороговые значения (рис. 2а), иначе тень сольётся с объектом и площадь им занимаемая будет гораздо больше реальной (рис. 2б). На данном этапе необходимо также провести фильтрацию (использовалась медианная фильтрация), чтобы убрать шумы - единичные белые пиксели (рис. 2в). Так как для описанных выше задач информативными являются только объекты, дальнейшими пороговыми преобразованиями отсекаем тени (рис. 2г).

 

Рис.2 - Последовательность операций для выделения движущегося объекта на видео

Чтобы исключить внутренние пробелы в приведенном выше изображении (рис. 2г), используется операция морфологического замыкания. В результате операции получается замкнутое черно-белое изображение, определяющее положение человека в исследуемой области (рис. 2д).

Далее необходимо выделить контур движущегося объекта, чтобы впоследствии с ним работать.  Предлагается использование сканирующего алгоритма [3].

В задачах, связанных с распознаванием людей, чаще всего используется метод гистограмм направленных градиентов HOG [4]. Идея этого подхода в том, что форма и вид объектов на изображении хорошо описываются распределением относительных величин градиентов функции интенсивности, характеризующих направление границ объектов. В качестве алгоритма машинного обучения используется линейный метод опорных векторов (Linear SVM).

Следующий этап - трекинг выделенных объектов. Алгоритм сопровождения обеспечивает построение траектории движения целевых объектов. Трекинг объектов производится путем последовательного анализа кадров видеопотока. Для каждого объекта определяется точка, идентифицирующая объект, которая, как правило, представляет собой центр массы объекта. Полученные центроиды текущего кадра сравниваются с центроидами предыдущих кадров, и устанавливается их соответствие путем проверки расстояний между ними. Центроид не может принадлежать двум трекам, поскольку мера близости при проверке соответствия текущей точки треку много меньше размера объектов, а пересечение объектов невозможно ввиду особенности расположения камеры. Было решено строить трек не от центра масс объекта, а от центра нижней грани прямоугольника, обрамляющего область движения- то есть движущийся объект. Такое решение обусловлено тем, что для дальнейших расчетов необходимо знать положение объекта на поверхности земли.

Задача определения параметров движения сводится к определению скорости, поскольку на следующем шаге её можно использовать для оценки характера движения объектов. Для того чтобы определять скорость, необходимо координаты изображения соотнести с координатами в пространстве. Был предложен метод, который позволяет определить скорость, если известны параметры камеры: горизонтальный и вертикальный углы обзора, угол наклона к горизонту, а также высота установки камеры (рис.1).

Рис. 3 - Экран (а), вид сверху (б), вид справа (в)

 

 Таблица 1 – Измерения в вертикальной плоскости

Измерение	Описание измерения
OY	h-высота установки камеры
YH	главная оптическая ось линзы камеры
YA	нижняя граница обзора камеры (bottom line),
YG	верхняя граница обзора камеры (top line)
AB	плоскость «экран» (screen line),
AG	поле видимости камеры
CD	местоположения предмета на «экране»,
EF	проекция местоположений предмета на «экране»
ОА	«мертвая зона»
∠HYK	α-угол наклона к горизонту
∠AYG	β-вертикальный угол обзора

 

Уравнение прямой YA: 

Уравнение прямой YG: 

Система уравнений для нахождения координат точки В:

Экран представлен в виде плоскости, изображенной на рисунке 3а.

Зная положение объекта на экране (в пикселях), находим его соотношение с высотой экрана h_m:  -координата Y точки F'. Аналогично для точки  . Используя эти коэффициенты находим точки С и D, а затем с помощью уравнений прямых YC и YD при пересечении с осью ОХ находим реальное перемещение объекта в данной проекции в метрах (рис. 3в). Подобным образом находим соотношение координат на экране и в горизонтальной плоскости (рис.3б), а затем и перемещение реального объекта по горизонтали. - горизонтальный угол обзора камеры.

Тематика данной работы подразумевает, что объектами видеонаблюдения в большинстве случаев являются люди. С точки зрения ситуаций, которые могут быть важными для оператора камеры видеонаблюдения, можно выделить следующие события: человек бежит или идет, стоит или долго находится в области интересов (рис.4). Кроме того, для задач, где целевыми объектами являются автомобили, можно, например, определять, движется автомобиль с допустимой скоростью или же превышает ее.

Рис. 4 - Пример определения характера движения объектов

 

Оценка результатов работы метода определения скорости проведена путем вычисления погрешности вычисленных значений расстояния относительно реальных значений (рис. 5). Оценка результатов работы метода классификации произведена путем подсчета количества правильно распознанных объектов и количества ложных срабатываний.

Рис.5 - а) Погрешность измерения расстояния. б) Погрешность измерения скорости

Тестирование проводилось на видеопоследовательностях в различных условиях освещенности на улице и в помещении. Результаты тестирования показали, что в 95% случаев описанная комбинация алгоритмов работает правильно.

Список литературы / References

1. Козырева А.В. О некоторых способах калибровки видеокамеры / А.В. Козырева // Конструирование и оптимизация программ. – – №13 – С. 132-141.
2. Кустикова В. Д. Методы и алгоритмы анализа траекторий движения при решении задачи видеодетектирования транспортных средств. : дис. … канд. тех. наук : 29.04.15 : защищена 11.06.15 / Кустикова Валентина Дмитриевна. – Нижний Новгород: Нижегородский государственный университет им. Н.И. Лобачевского, 2015. –133 с.
3. CV Выделение и описание контуров [электронный ресурс]. – URL: http://wiki.technicalvision.ru/index.php/Выделение_и_описание_контуров (дата обращения: 15.01.16)
4. Dalal N., Triggs B. Histograms of oriented gradients for human detection / N. Dalal, Triggs B. // CVPR '05 Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) – 2005. – Volume 1 –  Volume 01 – 886-893.
5. Довлад В.И. Определение характера движения объектов при решении задач видеоаналитики / В. И. Довлад // Аннотированный сборник научно-исследовательских выпускных квалификационных работ бакалавров Университета ИТМО – – С. 124-126.

Список литературы на английском языке / References in English

1. Kozyreva A.V. O nekotoryh sposobah kalibrovki kamery [Some methods for calibrating a camera] / A.V. Kozyreva // Konstruirovanie I optimizaciya programm [Design and optimization programs]. – – №13 – P. 132-141. [in Russian]
2. Kustikova V.D. Metody I algoritmy analiza traektoriy dvizheniya pri reshenii zadachi videodetektirovaniya transportnyh sredstv [Methods and algorithms for the analysis of trajectories in solving the problem of video detection of vehicles]: ... of PhD in Engineering : 29.04.15 : defense of the thesis 11.06.15 / Kustikova Valentina Dmitrievna. – Nizhny Novgorod: Lobachevsky University, 2015. –133 P. [in Russian]
3. CV Vydelenie i opisanie konturov [CV Isolation and description of contours] [electronic resource]. – URL: http://wiki.technicalvision.ru/index.php/Выделение_и_описание_контуров (reference date: 01.15.16) [in Russian]
4. Dovlad V. I. Opredelenie haraktera dvizheniya ob’ektov pri reshenii zadach videoanalitiki [Definition of movement character of objects in video analytics] / I. Dovlad // Annotirovannyj sbornik nauchno-issledovatel’skih vypusknyh kvalifikacionnyh rabot bakalavrov Universiteta ITMO [Annotated collection of research and development of final qualifying works of bachelors ITMO University] –2015. –P. 124-126. [in Russian]