АДАПТИВНОЕ РАСПОЗНАВАНИЕ ЭЛЕМЕНТОВ РЕГИСТАЦИОННОГО НОМЕРА АВТОМОБИЛЯ

Винокуров И.В.

ORCID: 0000-0001-8697-1032, кандидат технических наук, доцент,

Московский Государственный Технический Университет им. Н.Э. Баумана (филиал) в г. Калуге

АДАПТИВНОЕ РАСПОЗНАВАНИЕ ЭЛЕМЕНТОВ РЕГИСТАЦИОННОГО НОМЕРА АВТОМОБИЛЯ

Аннотация

Показана целесообразность и эффективность адаптивного распознавания элементов регистрационного номера автомобиля с использованием нейронной сети Хэмминга. Предложены этапы распознавания – выявление фрагмента изображения, предположительно содержащего регистрационный номер автомобиля, определение угла поворота фрагмента изображения, распознавание составляющих регистрационного номера на нейронной сети, коррекция элементов регистрационного номера автомобиля в зависимости от его типа. Разработано java-приложение для реализации этих этапов.

Ключевые слова: регистрационный номер автомобиля, оператор Собеля, преобразование Хафа, нейронная сеть Хэмминга.

Vinokurov I.V.

ORCID: 0000-0001-8697-1032, PhD in Engineering, Associate professor,

Kaluga Branch of N.E. Bauman Moscow State Technical University

ADAPTIVE RECOGNITION OF ELEMENTS OF VEHICLE REGISTRATION NUMBER

Abstract

The expediency and efficiency of adaptive recognition of the elements of vehicle registration number using the Hamming neural network is shown in the paper. The following stages of recognition are suggested: detection of a fragment of the image presumably containing the vehicle registration number, determination of the angle of rotation of the image fragment, recognizing the components of the registration number on the neural network, and correction of the elements of the vehicle registration number, depending on its type. A Java application has been developed to implement these steps.

Keywords: car registration number, Sobel operator, Hafa transformation, Hamming neural network.

В настоящее время существует множество программных систем и аппаратно-программных комплексов для распознавания регистрационных номеров автомобилей по изображениям с видеокамер слежения – «Поток» (компания «Росси»), «MegaCar» (компания «Megapixel»), «Авто-Инспектор» (компания ISS) и т.п. Практически в каждом из них распознавание регистрационного номера автомобиля состоит из следующих основных этапов: предобработка, сегментация и распознавание символов. Последний этап является достаточно важным и может быть осуществлен тремя различными типами методов − шаблонными, структурными или признаковыми. В признаковых методах изображение каждого символа представляется как объект в n-мерном пространстве признаков, который сравнивается с эталонными объектами, и изображение соотносится с наиболее подходящим из них. Одним из признаковых методов является адаптивное нейросетевое распознавание. Этот метод может быть использован и для распознавания элементов регистрационных номеров автомобилей. Основные этапы этого метода следующие [1, С. 364] – выделение горизонтального и вертикального фрагментов изображения, в которых предположительно находится регистрационный номер автомобиля; обнаружение и выделение элементов регистрационного номера автомобиля из содержащего его фрагмента изображения; распознавание элементов регистрационный номер автомобиля; коррекция элементов регистрационного номера автомобиля в соответствии с его типом.

Поскольку белый цвет фона пластины имеет максимальную цветовую интенсивность, то выделение фрагмента изображения, предположительно содержащего регистрационный номер автомобиля, может быть реализовано вычислением для всех горизонтальных и вертикальных пиксельных линий их цветовой интенсивности [2, С. 424]. Максимумы цветовой интенсивности вероятнее всего будут свидетельствовать о наличии в соответствующем фрагменте изображения регистрационного номера автомобиля (рис. 1).

Рис. 1 – Пики цветовой интенсивности вертикальной и горизонтальной проекций

Исходя из известной ширины символа регистрационного номера автомобиля, можно, как и на предыдущем этапе, посредством вычисления цветовой интенсивности его горизонтальной проекции, выделить в нем расположение составляющих его символов (рис. 2).

Рис. 2 – Пики горизонтальной интенсивности элементов регистрационного номера автомобиля

Непосредственно перед этапом выделения во фрагменте изображения символов регистрационного номера автомобиля достаточно часто возникает  необходимость в его повороте. Определение угла поворота регистрационного номера автомобиля выполняется в результате совокупности нескольких типов  анализов и последующей обработки изображения. На первом этапе выполняется операция выявления границ изображения на основе оператора Собеля для горизонтальных границ. Целью второго этапа является определение уравнения прямых,  соответствующих  верхней  и  нижней  границам регистрационного номера автомобиля. На этом этапе выполняется расчет карты плотностей найденных точек границ в пространстве коэффициентов линейных зависимостей пространственных координат с использованием преобразования Хафа [3, С. 148].

Для распознавания (классификации) элементов регистрационного номера автомобиля вполне достаточна нейронная сеть Хэмминга [4, С. 46]. Сеть такого типа реализует вычисление хэммингово (евклидово) расстояние между распознаваемым и эталонным образами. Непосредственно перед реализацией этапа распознавания на нейронной сети, в ряде случаев может потребоваться шаблонная скелетизация [5, С. 51].

Все допустимые элементы регистрационного номера автомобиля после этапа их бинаризации (растеризации) представляются в виде матрицы некоторого размера. При этом пикселю с максимальной цветовой насыщенностью соответствует нулевое значение, а с минимальной цветовой насыщенностью – единичное [6, С. 56].

Если изображение автомобиля имеет достаточно плохое качество, то возникает необходимость в адаптивной бинаризации.  Основными параметрами адаптивной бинаризации являются радиус и порог. Первый представляет собой размер области, на которой происходит анализ каждого из участков изображения. Порогом является некоторое значение цвета (как правило, в градациях серого). Если цвет пикселя превышает это значение, то в последующем он рассматривается как пиксель с черным цветом, если не превышает, то с белым [7, С. 74]. Результат работы описанного выше способа адаптивной бинаризации приведён ниже (рис. 3).

Рис. 3 − Результат работы адаптивной бинаризации изображения

Следует отметить, что нейронная сеть Хэмминга уступает по эффективности распознавания сетям обратного распространения ошибки, ART и некоторым другим, поскольку способна правильно распознавать (классифицировать) только слабо зашумлённые образы [8, С. 123]. С целью повышения эффективности процесса распознавания, непосредственно перед его реализацией, выделенные фрагменты изображения регистрационного номера автомобиля сравниваются с эталонными значениями параметров их яркости, контрастности, оттенкам и цветовой насыщенности. Дополнительными параметрами высококонтрастных фрагментов изображения могут быть их высота, отношение ширины к высоте и некоторые другие [9, С. 156].

После реализации всех описанных выше этапов, распознанный регистрационный номер автомобиля сравнивается с шаблоном регистрационного номера 1-го типа [10, С. 94].

Описанная в предыдущей статье методика нейросетевого распознавания регистрационного номера автомобиля реализована в виде приложения, написанного на языке Java.

Основными командами приложения являются:

“Загрузка изображения” – осуществляет выбор файлов с изображениями автомобилей и их отображение на главном окне приложения в виде списка.

“Выделить и распознать номер” – реализует процесс распознавания регистрационного номера автомобиля на выбранном из списка изображении автомобиля. После завершения распознавания отображает выделенный из изображения номер автомобиля и его результат.

“Остановить процесс распознавания” – завершает процесс распознавания регистрационного номера автомобиля.

“Изменить параметры распознавания” – отображает диалоговое окно, позволяющее просматривать и/или изменять текущие значения параметров распознавания регистрационного номера автомобиля. Окно имеет закладки, на которых отображаются логически взаимосвязанные параметры распознавания, представляющие собой коэффициенты математических методов цифровой обработки изображений.

Процесс выделения и последующего распознавания элементов регистрационных номеров автомобилей по их фотографиям с использованием разработанного приложения заключается в реализации следующих этапов – выбор и загрузка изображений автомобилей; настройка параметров анализа и обработки изображений; настройка параметров выделения и распознавания элементов регистрационного номера; собственно, распознавание и отображение его результатов на главном окне приложения (рис. 4).

Рис. 4 − Результаты распознавания регистрационного номера автомобиля

 

Список литературы / References

1. Мурыгин К.В. Нормализация изображения автомобильного номера и сегментация символов для последующего распознавания / К.В. Мурыгин // Искусственный интеллект. – 2010. – № 2. – С. 364-369.
2. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. – М.: Техносфера, 2006. – 1072 с.
3. Мурыгин К.В. Обнаружение автомобильных номеров на основе смешанного каскада классификаторов / К.В. Мурыгин // Искусственный интеллект. – 2010. – № 3. – С. 147-152.
4. Винокуров И.В. Реализация распознавания регистрационного номера автомобиля на нейронной сети Хэмминга / И.В. Винокуров // ЮЖНО-СИБИРСКИЙ НАУЧНЫЙ ВЕСТНИК научно-технический журнал – 2014. № 3 (7). – С. 46.
5. Винокуров И.В. Распознавание регистрационного номера автомобиля на нейронной сети Хэмминга / И.В. Винокуров // Международный научный журнал «ИННОВАЦИОННАЯ НАУКА». – № 01-2. – С. 51.
6. Винокуров И.В. Реализация распознавания регистрационного номера автомобиля на нейронной сети Хэмминга / И.В. Винокуров // Международный научный журнал «ИННОВАЦИОННАЯ НАУКА». – № 01-2. – С. 56.
7. Ширяев В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика: Учебное пособие / В.И. Ширяев. – М.: ЛИБРОКОМ, 2013. – 232 c.
8. Ширяев В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика: Учебное пособие / В.И. Ширяев. – М.: КД Либроком, 2015. – 232 c.
9. Ширяев В.И. Финансовые рынки: Нейронные сети, хаос и нелинейная динамика / В.И. Ширяев. – М.: КД Либроком, 2016. – 232 c.
10. Яхъяева Г.Э. Нечеткие множества и нейронные сети: Учебное пособие / Г.Э. Яхъяева. – М.: БИНОМ. ЛЗ, ИНТУИТ.РУ, 2012. – 316 c.

Список литературы на английском языке / References in English

1. Murygin K.V. Normalizacija izobrazhenija avtomobil'nogo nomera i segmentacija simvolov dlja posledujushhego raspoznavanija [Normalization of Car Identification Number Image and Symbol Segmentation for Subsequent Recognition] / K.V. Murygin // Iskusstvennyj intellekt [Artificial Intelligence]. – 2010. – No. 2. – P. 364-369. [in Russian]
2. Gonsales R. Cifrovaja obrabotka izobrazhenij [Digital image processing] / R. Gonsales, R. Vuds. – M.: Tehnosfera, 2006. – 1072 p. [in Russian]
3. Murygin K.V. Obnaruzhenie avtomobil'nyh nomerov na osnove smeshannogo kaskada klassifikatorov [Detection of Car Identification Numbers Based on Mixed Cascade of Classifiers] / K.V. Murygin // Iskusstvennyj intellekt [Artificial Intelligence]. – 2010. – No. 3. – P. 147-152. [in Russian]
4. Vinokurov I.V. Realizacija raspoznavanija registracionnogo nomera avtomobilja na nejronnoj seti Hjemminga [Implementation of Recognition of Vehicle Identification Number on Hamming Neural Network] / I.V. Vinokurov // JuZhNO-SIBIRSKIJ NAUChNYJ VESTNIK nauchno-tehnicheskij zhurnal [SOUTH SIBERIAN SCIENTIFIC BULLETIN scientific and technical journal]. – 2014. – No. 3 (7). – P. 46. [in Russian]
5. Vinokurov I.V. Raspoznavanie registracionnogo nomera avtomobilja na nejronnoj seti Hjemminga [Recognition of Vehicle Identification Number on Hamming Neural Network] / I.V. Vinokurov // Mezhdunarodnyj nauchnyj zhurnal «INNOVACIONNAJa NAUKA» [International scientific journal "INNOVATIVE SCIENCE"]. – 2017. – № 01-2. – P. 51. [in Russian]
6. Vinokurov I.V. Realizacija raspoznavanija registracionnogo nomera avtomobilja na nejronnoj seti Hjemminga [Implementation of Recognition of Vehicle Identification Number on Hamming Neural Network] / I.V. Vinokurov // Mezhdunarodnyj nauchnyj zhurnal «INNOVACIONNAJa NAUKA» [International scientific journal "INNOVATIVE SCIENCE"]. – 2017. – No. 01-2. – P. 56. [in Russian]
7. Shirjaev V.I. Finansovye rynki: Nejronnye seti, haos i nelinejnaja dinamika: Uchebnoe posobie [Financial Markets: Neural Networks, Chaos and Nonlinear Dynamics: Textbook] / V.I. Shirjaev. – M.: LIBROKOM, 2013. – 232 p. [in Russian]
8. Shirjaev V.I. Finansovye rynki: Nejronnye seti, haos i nelinejnaja dinamika: Uchebnoe posobie [Financial Markets: Neural Networks, Chaos and Nonlinear Dynamics: Textbook] / V.I. Shirjaev. – M.: KD Librokom, 2015. – 232 p. [in Russian]
9. Shirjaev V.I. Finansovye rynki: Nejronnye seti, haos i nelinejnaja dinamika [Financial Markets: Neural Networks, Chaos and Nonlinear Dynamics: Textbook] / V.I. Shirjaev. – M.: KD Librokom, 2016. – 232 p. [in Russian]
10. Jah’jaeva G.Je. Nechetkie mnozhestva i nejronnye seti: Uchebnoe posobie [Fuzzy Sets and Neural Networks: Textbook] / G.Je. Jah’jaeva. – M.: BINOM. LZ, INTUIT.RU, 2012. – 316 p. [in Russian]