ДЕТЕКЦИЯ ТОРОСИСТЫХ УЧАСТКОВ НА ИЗОБРАЖЕНИЯХ СНЕЖНО-ЛЕДОВОЙ ПОВЕРХНОСТИ

ДЕТЕКЦИЯ ТОРОСИСТЫХ УЧАСТКОВ НА ИЗОБРАЖЕНИЯХ СНЕЖНО-ЛЕДОВОЙ ПОВЕРХНОСТИ

Научная статья

Путинцев Д.Н.^1, *, Усилин С.А.²

¹ORCID: 0000-0003-0978-350X;

²ORCID: 0000-0001-6383-9696;

^1,2 Институт системного анализа ФИЦ ИУ РАН, Москва, Россия

* Корреспондирующий автор (2001dnp[at]mail.ru)

Аннотация

В работе предложен вычислительно эффективный подход к решению задачи обнаружения торосистых участков на изображениях снежно-ледовой поверхности. Приведен краткий обзор возможностей различных детекторов характерных точек и проведено исследование натурных стендов изображений арктической зоны с использованием дескрипторов характерных точек. Показано, что на реальных изображениях использование дескрипторов SURF, SIFT и ASIFT дает достаточную плотность покрытия характерными точками на торосистых участках поверхности. Результаты работы показали применимость предложенного подхода для детекции торосов в задачах компьютерного зрения, работающих в реальном времени.

Ключевые слова: обработка изображений, компьютерное зрение, характерные точки, торосы, снежно-ледовый покров, Арктическая зона.

DETECTION OF HUMMOCKY AREAS ON IMAGES OF SNOW AND ICE SURFACE

Research article

Putintsev D.N.^1, *, Usilin S.A.²

¹ ORCID: 0000-0003-0978-350X;

² ORCID: 0000-0001-6383-9696;

^1,2 Institute of System Analysis (ISA RAS), MoscowRussia

* Corresponding author (2001dnp[at]mail.ru)

Abstract

A computationally effective approach to solving the problem of detecting hummocky areas on images of a snow and ice surfaces is proposed in the paper. A brief review of the capabilities of various detectors for characteristic points is given, and a study of full-scale stands of images of the Arctic zone using descriptors of characteristic points is carried out. It is shown that the use of SURF, SIFT and ASIFT descriptors on real images gives sufficient coverage density for characteristic points on hummocky areas of the surface. The results of the work showed the applicability of the proposed approach for the detection of hummocks in real-time computer vision problems.

Keywords: image processing, computer vision, characteristic points, hummocks, snow and ice cover, Arctic zone.

Торосы представляют собой нагромождения обломков льда, которые образуются в результате сжатия ледяного покрова и могут достигать до 10 – 20 метров в высоту. Торосистые участки поверхности могут быть заметных размеров и зачастую требует отдельного исследования в различных задачах компьютерного зрения. Это касается, в том числе изучения поверхности по изменению отражательной способности и исследования эффекта многократного отражения.

Наблюдение поверхности посредством видеосъемки или фотосъемки с летающих аппаратов предполагает большое движение наблюдаемой сцены с изменением положение точки наблюдения. Поэтому для выделения характерных точек [1] и определения их соответствия в данном случае целесообразно использовать подход, который заключается в независимом обнаружении признаков во всех изображениях [2] и дальнейшем сопоставлении их дескрипторов между собой на основе метрики подобия [3].

Характерной точкой называется точка на изображении наблюдаемой сцены, которая с большой вероятностью будет найдена на другом изображении этой же сцены. В общем случае каждая характерная точка имеет свое уникальное описание. Количество таких точек должно быть существенно меньше общего числа пикселей на изображении.

Способ описания характерных точек называют дескрипторами, а методы локализации на изображениях характерных точек называют детекторами.  Область вокруг каждой определенной характерной точки преобразуется в компактный дескриптор, который может быть сопоставлен с другими дескрипторами. В этом случае использования самого простого дескриптора (интенсивности пикселей на участке объекта) для сравнения интенсивности [4] могут применяться такие метрики числа ошибок, как сумма квадратов разностей или нормированная взаимная корреляция. Более надежным коэффициентом подобия изображения является трансформация полного набора характеристик [5], которая преобразует каждый участок поверхности изображения в бинарный вектор, позволяющий представить какие из соседних участков обладают большей или меньшей интенсивностью относительно центрального пикселя.

В основе методов определения и сопоставления характерных точек лежит анализ яркости и градиента яркости, поэтому результат их работы зависит от контраста конкретного изображения. Для всесторонней оценки различных детекторов при изучении снежно-ледовой поверхности необходимо использовать изображения, полученные при различных погодных условиях. При видимом солнце мы получаем высококонтрастные изображениями, а в случае облачности изображения с умеренным контрастом.

Поиск характерных точек на изображении заключается в определении точек, которые с большой долей вероятности будут хорошо сопоставляться на других изображениях наблюдаемой сцены. Локальным дескриптором можно считать шаблон изображения, который отличается от своих ближайших соседей по интенсивности, цвету и текстуре. В ряде случаев, локальный вид дескриптора не является хорошим дескриптором информации, которую он несет, потому что его внешний вид меняется с изменением ориентации, масштаба и точки наблюдения.

В задаче изучения снежно-ледовой поверхности важное значение имеют точки (углы и пятна), для которых можно точно измерить их положение на изображении. Угол можно определить как точку изображения на пересечении двух или более краев. Пятно как участок изображения, отличающийся от своих ближайших соседей по интенсивности, цвету и текстуре. К детектору предъявляются следующие требования: точность локализации, инвариантность к освещению и геометрическим изменениям. В таблице 1 приведено сравнение свойств различных детекторов потенциальных характерных точек на снежно-ледовой поверхности.

 

Таблица 1 – Сравнение возможностей детекторов характерных точек

	Детектор углов	Детектор пятен	Инва-риантность к вращению	Инва-риантность к масштабу	Инвариантность к аффинному преобразованию
Haris	х		х
Shi-Tomasi	х		х
FAST	х		х	х
SIFT		х	х	х	х
SURF		х	х	х	х
CENSURE		х	х	х	х
ASIFT		х	х	х	х

 

В работе каждого детектора признаков можно выделить два этапа. На первом этапе применяется функция реагирования целиком на всём изображении (например, функция оператора разности гауссианов в детекторе SIFT) [6]. На втором этапе осуществляется подавление ошибочных максимумов к полученным на первом этапе результатам. Цель детектора — идентифицировать все локальные экстремумы (максимумы или минимумы) функции реагирования. Результатом подавления ошибочных экстремумов представляет собой определенные характерные точки. Для того чтобы детектор обладал инвариантностью к изменениям масштаба осуществляют исследование низко-масштабных и верхне-масштабных образцах одного и того же изображения. Инвариантности к изменениям перспективы добиваются за счет аппроксимации искажения перспективы как аффинной. Рассмотрим подробно детекторы SIFT, SURF и ASIFT.

Детектор SIFT (Scale Invariant Feature Transform) является функцией поиска особенностей, разработанной для распознавания объекта и места. Детектор является одним из наиболее популярных дескрипторов для точечных объектов [7]. SIFT является гистограммой ориентированных локальных градиентов. Участок вокруг характерной точки разбивается на сетку размером 4x4. Для каждого квадранта строится гистограмма из восьми градиентных ориентаций. Все гистограммы затем объединяются, образуя вектор дескриптора из 128 элементов. Чтобы уменьшить влияния изменений освещенности, дескриптор затем нормируется.

Детектор SURF (Speed Up Robust Feature) базируется на детекторе SIFT, но использует фильтры коробки для аппроксимации Гаусса, в результате чего можно производить более быстрые расчеты [8] по сравнению с SIFT, при помощи интегральных изображений [9].

Детектор ASIFT (Affine-SIFT) представляет детектор, в котором реализована комбинация различных методов. Детектор имитирует набор различных видов на объекты с исходных изображений [10]. Данный набор можно получить, варьируя два параметра ориентации оси камеры, а именно углы широты и долготы. Это процедура не входит в базовый детектор SIFT. Далее детектор SIFT применяется ко всем сгенерированным изображениям. В результате комбинированный детектор ASIFT охватывает все 6 параметров аффинного преобразования.

Результаты работы детекторов SIFT, SURF и ASIFT, которые обеспечивает наиболее плотное покрытие характерными точками и высокую скорость работы на подготовленной тестовой выборке изображений, представлены в таблице 2. Детекторы SIFT и SURF [11] можно эмпирически признать инвариантными в соответствии с определенными изменениями точки наблюдения.

 

Таблица 2 – Результаты локализации характерных точек

	Среднее количество найденных особых точек
SURF	3816
SIFT	1318
ASIFT	2128

 

Приведем пример визуализации характерных точек с использованием детекторов SURF, SIFT и ASIFT на изображении снежно-ледовой поверхности, имеющей торосистые участки.

Рис. 1 – Пример визуализации характерных точек:

А – исходное изображение, Б – SIFT, В – SURF, Г – ASIFT

 

Анализ результатов работы детекторов характерных точек показал, что участки с высокой плотностью характерных точек относятся к торосистой снежно-ледовой поверхности. Несмотря на то что подобный подход к детекции торосов на изображениях поверхности является достаточно «грубым», он удовлетворяет требованиям, предъявляемым к системам реального времени, и позволяет эффективно с точки зрения вычислительных ресурсов при необходимости локализовать или наоборот исключить из наблюдения методами компьютерного зрения участки, имеющие торосы.

Финансирование Работа выполнена при финансовой поддержке грантов РФФИ 15–29–06091.	Funding The work was supported by grants from the RFBR 15-29-06091.
Конфликт интересов Не указан.	Conflict of Interest None declared.

Список литературы / References

1. Baskent D. Surface Profile Determination from Multiple Sonar Data Using Morphological Processing / Baskent D., Barshen B. // The International Journal of Robotics Research. – 1999. – Vol. 18(8). – P. 788–808. doi: 10.1177/02783649922066565
2. McManus C. Learning place-dependant features for long-term vision-based localisation / McManus C., Upcroft B., Newman P. C. // Autonomous Robots. – 2015. – Vol. 39(3). – P. 363–387. doi: 10.1007/s10514-015-9463-y
3. Pronobis A. The More you Learn, the Less you Store: Memory-controlled Incremental SVM for Visual Place Recognition / Pronobis A., Jie L., Caputo B. // Image and Vision Computing. – 2010. – Vol. 28(7). – P. 1080–1097. doi: 10.1016/j.imavis.2010.01.015
4. Gonzalez R. C. Digital Image Processing, 3rd ed. / Gonzalez R. C., Woods R. E. – New Jersey: Pearson Prentice Hall, 2008. – 954 p.
5. Zabih R. Non-parametric local transforms for computing visual correspondence / R. Zabih Zabih R., Woodfill J. // Proceedings of the European conference Computer Vision. – 1994. – P. 151–158. doi: 10.1007/BFb0028345
6. Zhang Y. H. A new modified panoramic UAV image stitching model based on the GA-SIFT and adaptive threshold method / Zhang Y. H., Jin X., Wang Z. J. // Memetic Computing. – 2017. – Vol. 9(3). – P. 231–244. doi: 10.1007/s12293-016-0219-9
7. Cruz-Mota J. Scale Invariant Feature Transform on the Sphere: Theory and Applications / Cruz-Mota J., Bogdanova I. Paquier B. // International Journal of Computer Vision. – 2012. – Vol. 98(2). – P. 217–241. doi: 10.1007/s11263-011-0505-4
8. Mehrotra H. Fast segmentation and adaptive SURF descriptor for iris recognition / Mehrotra H., Sa P. K., Majhi B. // Mathematical and Computer Modelling. – 2013. – Vol. 58(1-2). – P. 132–146. doi: 10.1016/j.mcm.2012.06.034
9. Bay H. Speeded-Up Robust Features (SURF) / Bay H., Ess A., Tuytelaars T. // Computer Vision and Image Understanding. – 2008. – Vol. 110(3). – P. 346–359. doi: 10.1016/j.cviu.2007.09.014
10. Raviv D. Equi-affine Invariant Geometry for Shape Analysis / Raviv D., Bronstein A. M., Bronstein M. M. // Journal of Mathematical Imaging and Vision. – 2014. – Vol. 50(1-2). – P. 144–163. doi: 10.1007/s10851-013-0467-y
11. Valgren C. Sift, surf and seasons: Long-term outdoor localization using local features / Valgren C., Lilienthal A. // Proceedings of the European conference on mobile robots (ECMR). – 2007. – P. 253-258.