РАЗНОСТНО – КОРРЕЛЯЦИОННЫЙ МЕТОД ИЗМЕРЕНИЯ ДВИЖЕНИЯ ИЗОБРАЖЕНИЯ

Научная статья
Выпуск: № 3 (22), 2014
Опубликована:
2014/04/08
PDF

Лазарев Н.Ю.

Аспирант, Самарский государственный технический университет

РАЗНОСТНО – КОРРЕЛЯЦИОННЫЙ МЕТОД ИЗМЕРЕНИЯ ДВИЖЕНИЯ ИЗОБРАЖЕНИЯ

Аннотация

В статье представлены результаты компьютерного моделирования автокорреляционных и взаимно корреляционных функций разностных изображений видеоряда движущейся сцены и оценки их использования для измерения вектора скорости движения.

Ключевые слова: разностное изображение, вектор скорости, корреляционная функция.

Lazarev N.Y.

Postgraduate student, Samara State Technical Univetsity

RAZNOSTNO – THE CORRELATION METHOD OF MEASUREMENT OF MOVEMENT OF THE IMAGE

Abstract

Results of computer modeling of autocorrelated and mutually correlation functions of differential images of a video series of a moving scene and assessment of their use are presented in article for measurement of a vector of speed of movement.

Keywords: differential image, speed vector, correlation function.

Движение является одним из главных факторов анализа динамических сцен. Не случайно биологические зрительные сенсоры используют движение для выделения интересующих их объектов из фона. Например, лягушки реагируют только на движущихся насекомых. Некоторые устройства технического зрения работают по такому же принципу. Известны видеорегистраторы, включающие автоматическую запись видеосигнала только при наличии динамической составляющей на контролируемом объекте. При этом важен факт самого движения, а не изменения освещенности или других параметров изображения.

Появление новых стандартов видеокодирования, таких как H.264 и MPEG-4, основано на широком использовании векторов движения динамических блоков изображения, остающихся практически неизменными на протяжении ряда кадров [1]. Закодированная информация о таком блоке на начальном кадре используется далее путем переноса на следующих кадрах. Не менее важна задача автоматической стабилизации изображений на основе контроля смещений [2]. Другая важная задача – восстановление смазанных движением изображений методом деконволюции [5]. Для ее эффективного решения необходимо знать функцию рассеяния точки (ФРТ размытия), вычисляемую на основе параметров движения.

Большой класс задач, связанных с определением движения изображения, относится к управлению движением автономных роботов, автономной навигации беспилотных летательных и космических аппаратов [7-9].

В общем виде оценка движения локальных областей изображения и отдельных точек решается с помощью уравнения оптического потока [3]. Для условия неизменности освещенности сцены за время анализа это уравнение имеет вид:

03-10-2019 15-38-37 где: 03-10-2019 15-38-48 - пространственный градиент яркости в точке (x, y); 03-10-2019 15-39-10 - вектор скорости оптического потока.

Если предположить, что в окрестности каждой точки изображения значение оптического потока одинаково, то можно записать основное уравнение оптического потока для всех пикселей окрестности и решить полученную систему для всех пикселей окрестности методом наименьших квадратов, как это сделано в алгоритме Лукаса - Канаде [4].

Использование локальных областей (блоков, эталонов) лежит в основе большого класса корреляционно-экстремальных систем (КЭС). Работа таких систем подробно рассмотрена в литературе [2, 8, 9] и здесь не анализируется. Отметим только, что КЭС не позволяют измерять скорость при движении, как в прямом, так и в обратном направлении. Для реализации такой функции требуется два коррелятора, один из которых работает в прямом, а другой – в обратном направлении [2].

Из всего перечисленного множества задач рассмотрим те из них, которые требуют оценки глобального движения, когда вектор движения элементов изображения одинаков для всех точек. Такая ситуация имеет место, когда достаточно удаленная сцена движется без вращения относительно неподвижной камеры или наоборот, камера движется относительно сцены.

Пусть видеокамера формирует последовательность кадров (фреймов) полутоновых черно-белых изображений движущейся сцены с межкадровым периодом 03-10-2019 15-42-49 и временем экспозиции 03-10-2019 15-43-09. Примем в первом приближении, что освещенность сцены достаточна, τ мало, и смазом изображения за время экспозиции можно пренебречь. Тогда все элементы кадров, кроме краевых, сдвигаются на величину  03-10-2019 15-43-40, а скорость движения изображения равна

03-10-2019 15-44-59,      (1)

где N – число кадров, между которыми определяется сдвиг.

Отметим, что все параметры привязаны к изображениям: сдвиг измеряется в пикселях (пик), скорость – в пик/сек.

Один из наиболее простых и распространенных способов оценки межкадрового сдвига между фреймами 03-10-2019 15-49-37 взятыми в моменты времени 03-10-2019 15-49-45, основан на вычислении поэлементной разности соответствующих фреймов [7]. Такая разность вычисляется по формуле

03-10-2019 15-51-30   (2)

где Θ – значение порогового уровня.

Формула (2) позволяет формировать так называемые разностные изображения. Очевидно, если исходное изображение 03-10-2019 15-51-46 содержит значительные однородные области, то разность яркостей элементов, принадлежащих этим областям, будет минимальной, меньше порога Θ. На разностном изображении 03-10-2019 15-51-56 они принимают значение 0. Для областей с высоким градиентом (кромки, границы объектов) элементы в результате движения существенно отличаются по яркости, и они принимают значение 1. Таким образом, при формировании разностных изображений осуществляется своего рода двухуровневая сегментация (бинаризация) движущихся областей на изображении.

Результаты, представленные в данной публикации, получены путем компьютерного моделирования в среде MATLAB. На рис.1 показана последовательность трех полутоновых изображений f1, f2, f3 размером MxM (M=256) движущегося ландшафта.

03-10-2019 15-54-54

Рис. 1 - Исходные изображения. Показана ось времени t и вектор скорости изображения

Предполагается, что наблюдатель с камерой находится на достаточно большом расстоянии от объектов ландшафта и все точки изображения движутся с одинаковой скоростью Vиз. В результате движения элементы соседних изображений сдвигаются на ∆ пикселей (на рисунке ∆ = 20) в направлении вектора движения.

На рисунке 2а представлены разностные изображения 03-10-2019 16-00-49, полученные при Θ=50. Как видно из примера, разностные изображения содержат много единичных пикселей и мелких областей. Хотя для соседних фреймов существенная разница в шумовых компонентах маловероятна, тем не менее, мелкие градиентные детали проявляются существенно. Для их устранения применим морфологические операции [6]. Так, для устранения изолированных точек и мелких областей хороший эффект дает операция эрозии 03-10-2019 16-01-02 со структурным элементом B. После эрозии целесообразно нарастить оставшиеся объекты с помощью операции дилатации:03-10-2019 16-01-13

Последовательное применение этих операций называется размыканием бинарного изображения 03-10-2019 16-04-29. Его результат показан на рис. 2б. В качестве структурного элемента использован квадрат 5х5.

03-10-2019 16-05-38

Рис. 2 - а) Разностные изображения  03-10-2019 16-08-28   б) размыкание 03-10-2019 16-07-29

Исследуем корреляционные функции разностных изображений. Сформируем суммарное изображение 03-10-2019 16-07-42 и двойное разностное 03-10-2019 16-08-08 и определим их автокорреляционные функции (АКФ). Поскольку разностные изображения 03-10-2019 16-07-22сильно коррелированны, справедливы следующие соотношения:

03-10-2019 16-12-07, где через ВКФ обозначена взаимно корреляционная функция. (3)

03-10-2019 16-16-30

Рис.3 - Сечения АКФ соответственно 03-10-2019 16-18-21 в плоскости, совпадающей с вектором движения

Первые два слагаемых в формулах (3) определяют основную форму и абсолютный максимум АКФ в центральной точке, вторые два слагаемых дают локальные максимумы для 03-10-2019 16-18-40 и минимумы для 03-10-2019 16-18-46, смещенные соответственно влево и вправо относительно центра АКФ на величину Δ. Очевидно, минимумы на АКФ(03-10-2019 16-18-46) выделить проще на фоне абсолютного максимума, расстояние между ними равно 03-10-2019 16-18-55 и его измерение может быть использовано в формуле (1) для определения скорости движения изображения. Тем не менее, в  силу симметрии АКФ, возникает проблема неоднозначности при определении направления вектора скорости (его начала и конца). Решить ее можно используя взаимно корреляционные функции. Форма ВКФ(03-10-2019 16-19-13) имеет два ярко выраженных пика, соответствующих началу и концу вектора движения изображения. Один из пиков, соответствующий начальной точке вектора 03-10-2019 16-19-24, расположен всегда в центре корреляционной плоскости. Второй пик соответствует конечной точке вектора 03-10-2019 16-19-24 и перемещается по корреляционной плоскости при изменении модуля и направления вектора скорости, что позволяет однозначно измерить вектор движения изображения в диапазоне 0÷360гр.

03-10-2019 16-27-40

Рис. 4 - Корреляционная плоскость 03-10-2019 16-19-13. Яркие точки соответствуют корреляционным пикам

Очевидно, для расчета вектора скорости достаточно найти положение второго пика, т.к. первый пик всегда фиксирован в центре корреляционной плоскости, как показано на рис. 4. В этом случае отпадает необходимость суммирования разностных изображений, что упрощает задачу. Достаточно найти ВКФ03-10-2019 16-07-29 определить положение максимума относительно центральной точки корреляционной плоскости.

Проведенное моделирование показало эффективность использования описанной методики для измерения вектора скорости движения изображения. Выбор порога Θ не столь критичен, как при яркостной бинаризации исходных изображений. В модели порог менялся в диапазоне от 0,05 до 0,8 максимальной яркости.

Для повышения быстродействия вместо вычисления ВКФ по классической формуле в модели опробована более простая метрика сравнения разностных изображений логического типа

03-10-2019 16-32-14

что позволило сократить временные затраты на поиск максимума приблизительно в 6 раз. Диапазон измеряемых сдвигов Δ составляет 1÷40% от M при сохранении погрешности в пределах одного пикселя. При больших сдвигах существенное влияние оказывают краевые эффекты.

Литература

  1. Ян Ричардсон. Видеокодирование. Н.264 и MPEG-4 — стандарты нового поколения. – М.: Техносфера, 2005. – 368 с.
  2. Еськов Д.Н., Ларионов Ю.П. и др. Автоматическая стабилизация оптического изображения / Под общ. ред. Д.Н. Еськова, В.А. Новикова. – Л.: Машиностроение, 1988. – 240 с.
  3. Шапиро Л., Стокман Дж. Компьютерное зрение / Пер. с англ. – М.: БИНОМ. Лаборатория знаний, 2006. – 752с.
  4. Lucas B.D. An Iterative Image Registration Technique with an Application to Stereo Vision / B.D. Lucas, T. Kanade // Proceedings of the 7th international joint conference on Artifical intelligence. – 1981. – Vol. 2. – P. 674-679.
  5. Гонсалес Р., Вудс Р., Эддинс С. цифровая обработка изображений в среде MATLAB. – М.: Техносфера, 2006. –616 с.
  6. Фу К., Гонсалес Р., Ли К. Робототехника: Пер. с англ. – М.: Мир 1989. – 624 с.
  7. Грузман И.С., Киричук В.С. и др. Цифровая обработка изображений в информационных системах: Учеб. Пособие. – Новосибирск: Изд-во НГТУ, 2002. – 352 с.
  8. Красовский А.А., Белоглазов И.Н., Чигин Г.П. Теория корреляционно- экстремальных навигационных систем. – М.: Наука, 1979. – 408 с.
  9. Козубовский С.Ф. Корреляционные экстремальные системы. – Киев: Наукова думка 1973. – 223 с.