ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ СЦЕНЫ ДЛЯ ВЫДЕЛЕНИЯ ИСКОМЫХ ОБЪЕКТОВ

Научная статья
DOI:
https://doi.org/10.23670/IRJ.2020.93.3.003
Выпуск: № 3 (93), 2020
Опубликована:
2020/03/17
PDF

ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ СЦЕНЫ ДЛЯ ВЫДЕЛЕНИЯ ИСКОМЫХ ОБЪЕКТОВ

Научная статья

Фокин Д.С.1, Карабцев С.Н.2, *, Рейн Т.С.3

1 ORCID: 0000-0002-1468-4955;

2 ORCID: 0000-0002-5975-2958;

3 ORCID: 0000-0003-4542-0503;

1, 2, 3 Кемеровский государственный университет, Кемерово, Россия

* Корреспондирующий автор (skarab[at]kemsu.ru)

Аннотация

В статье формулируется задача предварительной обработки изображений сцены для выделения конкретных объектов – номеров маршрутов транспортных средств на цветовых изображениях, полученных посредством съемки на мобильных устройствах. В качестве доступных скоростных методов предобработки рассматривается метод Оцу – метод получения оптимального приближения полутонового (серого) изображения, а также ряд стандартных методов локальной обработки в скользящем окне. Авторами предлагается два эвристических метода предварительной обработки:

  1. метод неадаптивного преобразования цветного изображения в серое (предиктор резкости);
  2. метод размытия серого изображения (метод РОС), применяемый для выделения контуров на нем.

На тестовых изображениях демонстрируется эффект применения различных методов для выделения контуров и локализации области размещения номера маршрута транспортного средства на снимках. Сравнение методов также производится и на других данных – цветных фотографиях и трехцветном картографическом изображении.

Ключевые слова: выделение контуров, локализация объектов, метод Оцу, программные средства для лиц с ограниченными возможностями здоровья.

PRELIMINARY PROCESSING OF SCENE IMAGES TO DETECT SEARCHED OBJECTS

Research article

Fokin D.S.1, Karabtsev S.N.2, *, Reyn T.S.3

1 ORCID: 0000-0002-1468-4955;

2 ORCID: 0000-0002-5975-2958;

3 ORCID: 0000-0003-4542-0503;

1, 2, 3 Kemerovo State University, Kemerovo, Russia

* Corresponding author (skarab[at]kemsu.ru)

Abstract

The paper formulates the problem of preliminary processing of scene images to detect specific objects – route vehicle number on color images obtained by shooting on mobile devices. Otsu method is considered as the available high-speed preprocessing methods for obtaining the optimal approximation of a grayscale (gray) image, as well as a number of standard local processing methods in a sliding window. The authors propose two heuristic pre-processing methods:

  1. Non-adaptive conversion of color images to gray (sharpness predictor);
  2. Gray image blurring method (ROS method), used to detect the contours on it.

The test images demonstrate the effect of applying various methods to highlight the contours and localize the area where route vehicle number is located in the images. These methods were comparised on other data – color photos and a three-color cartographic images.

Keywords: contour extraction, object detection, Otsu method, software for people with disabilities.

Введение

Задача идентификации объекта на изображении – одна из основных задач компьютерного зрения. Необходимость поиска объекта и оценки его характеристик существует в различных сферах деятельности человека. Благодаря очевидной коммерциализации найдено большое количество частных решений данной задачи, однако построение универсального решения не представляется возможным.

Идентификация номеров маршрутов общественного транспорта является актуальной проблемой для людей с нарушениями функций зрения (ОВЗ). Ожидая на остановке, такой человек не может быть до конца уверен, что остановившееся транспортное средство определено верно и проследует по заданному маршруту. Данная задача пока не получила надёжного пути решения с применением доступных и недорогих технических или программных средств. Существующие удобные и проверенные мобильные приложения (например, Яндекс.Транспорт или Go2bus) отлично справляются с отслеживанием движения транспорта в режиме on-line, но не приспособлены для слепых или слабовидящих людей. Проблема также усугубляется ситуациями одновременного прибытия двух и более транспортных средств на остановочный пункт, т.к. их отображение на карте в приложении может не соответствовать действительности. Однако развитие и применение информационных технологий, мобильных устройств способно сделать более комфортной жизнь для людей с проблемами зрения [1], [2].

Описание задачи и принципы исследования

Постановка задачи предполагает, что слабовидящий человек находится на остановочном пункте в городе и ему необходимо определить номер приближающегося маршрутного транспортного средства. Из подручных средств у него имеется мобильное устройство с камерой. В данной работе предлагается следующий подход к решению. Человек направляет смартфон с фотокамерой на фронтальную часть проезжающего общественного транспорта, при этом на смартфоне запущено специальное приложение. Приложение распознает номер автотранспорта и с помощью синтезатора голоса озвучивает его. В настоящее время задачи синтеза голоса достаточно хорошо исследованы и нашли применение во множестве приложений, как, например, в работе [3]. В противоположность этому, задачи компьютерного зрения представляют большую сложность, а их решение существенно ограничивается вычислительными возможностями мобильных устройств, временными рамками, а также перегруженной информативностью (вместе с изображением номера маршрута камера может зафиксировать рекламные щиты, вывески на зданиях и др.) исходных изображений, получаемых камерой смартфона.

При обработке и анализе цифровых изображений, как правило, выполняются следующие этапы [4]:

  • сегментация изображений при помощи алгоритмов бинаризации и выделения контуров;
  • выделение (поиск) и описание связных областей;
  • сравнение характеристик найденных областей с эталоном.

Ключевой этап идентификации – сравнение выделенного участка исходного изображения с некоторым эталонным изображением, используя различные характеристики, такие как центр тяжести [4], функции спектральной яркости [5], принцип согласованности оценок или оценки максимального правдоподобия [6].

Этап описания связных областей может осуществляться различными способами: вычисление геометрических признаков [4], применение алгоритма случайной выборки [7], анализ гиперспектральной информации [8], обучение нейронных сетей. Авторами данной работы для описания областей применялся способ, основанный на вычислении геометрических признаков изображения – относительная длина и ширина, отношение квадрата периметра к площади образа, формат, центр тяжести. Для выделения областей, присутствующих на изображении, используются различные алгоритмы, такие как разрастание регионов [9], волновое выращивание областей [10], tobogganing [11]. Данные алгоритмы не применимы в задачах с повышенной детализированностью изображений, поскольку основные объекты на изображении разбиваются на десятки более мелких, не поддающихся анализу участков.

Сегментация изображений начинается с применения по отдельности или в комбинации методов бинаризации, выделения контуров и подавления «шумов». От качества выполнения данного этапа зависит результат дальнейшей обработки изображения. На рисунке 1 представлены тестовые изображения (для сокращения объема записи далее в тексте статьи тестовые изображения обозначаются сокращением ТИ с указанием номера), на которых будет проверяться качество выполнения различных алгоритмов бинаризации и выделения контуров. ТИ 1 – изображение, используемое для тестов в различных работах и научных периодических журналах (называемое «Лена»); ТИ 2 и 3 – изображения, рассматриваемые в рамках решаемой задачи, полученные в ночное и дневное время суток авторами статьи при съемке на современный смартфон. Качественным результатом обработки ТИ 2 и 3 будет считаться бинарное изображение, на котором выполнены следующие критерии:

  1. чётко определены контуры общественного транспорта (критерий 1);
  2. номер маршрута общественного транспорта сохраняется видимым на изображении (критерий 2). На тестовых изображениях 2 и 3 красным цветом отмечены участки, информация на которых должна быть обязательно сохранена.

30-03-2020 12-01-54

Рис. 1 – Тестовые изображения ТИ 1, ТИ 2, ТИ 3

 

Изображение ТИ 1 «Лена» используется в основном с целью контроля правильности реализованных авторами известных методов.

В рамках данной работы авторами были реализованы и протестированы различные известные алгоритмы бинаризации: метод Оцу [12] (рисунки 2, а-в), алгоритмы Брэдли-Рота [13] (рисунки 2, г-е), Ниблэка [14], Саволы [15] и Кристиана Вульфа [16], а также алгоритм анализа среднего арифметического цветов пиксела (рисунки 2, ж-и) в модели RGB. Как видно из полученных изображений, ТИ 2 и ТИ 3, в отличие от ТИ 1, можно отнести к классу изображений с низким порогом световой чувствительности. Данное обстоятельство не позволило качественно провести бинаризацию изображений. Однако среди данной группы методов обособленно стоит подход, используемый в иерархическом методе Оцу [17]. Метод Оцу используется для серых изображений, но для того, чтобы он успешно работал в рассматриваемой задаче, достаточно применить его повторно к каждому из двух кластеров пикселей, первоначально полученных оригинальным методом Оцу и, затем, анализируемых как самостоятельные изображения (рисунки 2, к-м). На рисунке 2, л) достаточно четко виден номер маршрута транспортного средства.

30-03-2020 12-02-14

 

Рис. 2 – Бинаризация тестовых изображений ТИ 1, ТИ 2 и ТИ 3: а), б), в) – методом Оцу; г), д), е) – алгоритмом Брэдли-Рота; ж), з), и) – используя среднее арифметическое цветов пикселя; к), л), м) – используя иерархический метод Оцу

 

Также были реализованы и протестированы алгоритмы выделения контура: различные комбинации Лапласиана [18] с Гауссианом [19] (рисунки 3, а-в), оператор Робертса [18], оператор Собеля [18] (рисунки 3, г-е), оператор Прюитт [18], оператор Кирша [20] (рисунки 3, ж-и), оператор Канни [21] (рисунки 3, к-м). Наиболее качественный результат был получен при использовании Лапласиана 5x5. Только данный оператор позволил сохранить высокую информативность всех ТИ без потери качества информации. Также довольно качественные визуальные результаты показал оператор Кирша, однако толщина полученных контуров не позволяет его использовать в дальнейшем для компьютерной обработки. Остальные алгоритмы «затёрли» ту или иную информацию на ТИ 2 и 3, однако ТИ 1 удалось качественно обработать всеми алгоритмами, но с разным уровнем информативности.

30-03-2020 12-02-33

Рис. 3 – Выделение контуров тестовых изображений ТИ 1, ТИ 2 и ТИ 3: а), б), в) – Лапласианом 5x5; г), д), е) – оператором Собеля; ж), з), и) –оператором Кирша; к), л), м) – оператором Канни

 

Как видно из результатов обработки, изображения теряют важные детали, а именно – не видно цифр номера общественного транспорта (критерий 2), что недопустимо в рамках решаемой задачи. Только иерархический метод Оцу иногда показывает приемлемые результаты.

Идея метода размытия оттенков-соседей (метод РОС)

На рисунке 3 для примера приведены результаты представления изображения числа «30» на вывеске маршрутного транспортного средства. На первом рисунке число изображено так, как видит его человек, а на втором рисунке – как «видит» его компьютер в виде растра. В случае цифровых растровых изображений присутствует несколько оттенков (наличие градиента), которые могут быть как оттенками основного цвета, так и вовсе отсутствующего на участке рассматриваемого изображения (рисунок 3, б). Идея предлагаемого метода предварительной обработки изображений (РОС) заключается в размытии «ненужных» оттенков при переходе от одного пиксела к другому. Переход от одного «нужного» пиксела к другому будет считаться линией контура, всё остальное – фон.

 

30-03-2020 12-03-06

Рис. 3 – Пример представления изображения: а – человеческим глазом; б – в виде растра

Пусть дано цифровое изображение размером 30-03-2020 12-08-46 пикселей, которое с математической точки зрения можно представить двумерной матрицей 30-03-2020 12-08-56. Элемент матрицы 30-03-2020 12-09-10 содержит целочисленное значение функции отображения яркости 30-03-2020 12-09-19 согласно цветовой модели RGB, где 30-03-2020 12-09-36. Для выделения контура необходимо исходное цифровое изображение 30-03-2020 12-09-10 преобразовать в монохромное 30-03-2020 12-10-03 целочисленным оператором, вычисляющим среднее арифметическое значение цвета пиксела 30-03-2020 12-10-12 с координатой 30-03-2020 12-10-20 следующим образом:

30-03-2020 12-15-43   (1) Изображение переводится в монохромное (рисунок 4), чтобы ограничить цветовой спектр до 256 цветов (согласно модели RGB), далее выделение контура выполняется по формуле: 30-03-2020 12-15-54   (2) где 30-03-2020 12-16-11

В формуле 2 30-03-2020 12-19-41  – множество, состоящее из цвета пиксела 30-03-2020 12-10-20 и цветов пикселов окружающих его соседей, а 30-03-2020 12-20-12 – среднее арифметическое элементов этого множества. В полученном бинарном изображении 30-03-2020 12-20-04 значение 1 соответствует линии контура, а значение 0 – фону.  Если мощность множества 30-03-2020 12-20-20 больше четырёх [22], считается, что пиксел 30-03-2020 12-10-20 относится к шуму, и его мощность искусственно устанавливается равной четырём, чтобы повысить вероятность его исключения из линии контура. Важно отметить, что наложение собственных условий на мощность множества может привести к различным результатам. Данное обстоятельство можно применить, когда требуется получить более специфичное решение в задачах выделения контуров. Реализация метода выполнялась на языке C# (листинг 1).

30-03-2020 12-25-45

Рис. 4 – Монохромное представление изображений по формуле 1: а – ТИ 1; б – ТИ 2; в – ТИ 3

30-03-2020 12-26-02

Листинг 1 – Метод размытия оттенков-соседей

Результаты выделения контуров для ТИ 1-3 представлены на рисунке 5. Проанализировав рисунки, можно сделать вывод, что после обработки ТИ 2 выполняются требования критериев 1 и 2, а для ТИ 3 – только критерия 1. При этом в результате обработки ТИ 1 данным алгоритмом изображение сохраняет свою информативность, как и в случае применения других классических алгоритмов.

 

30-03-2020 12-26-19

Рис.  5 – Выделение контуров методом РОС: а – ТИ 1; б – ТИ 2; в – ТИ 3

 

Чтобы добиться выполнения критерия 2 и на ТИ 3, рассмотрим возможность предобработки изображения с помощью некоторого предиктора, который скорректирует резкость исходного изображения. Несколько различных способов предобработки было предложено автором работы [23]. В данной статье будет предложен новый способ.

Предиктор резкости изображения

Для повышения качества детализации изображения при выделении контуров необходимо выполнить предобработку изображения, которая бы усреднила яркости всех пикселей до некоторой константы, причём информативность исходного изображения не должна уменьшиться.

Человеческий глаз может определить около 30 оттенков серого в зависимости от освещения [24]. Основываясь на этом, можно усреднить зоны изображения до конкретного оттенка серого, исходя из текущей яркости пиксела. Однако битовая глубина цвета (модель RGB) равняется 24 битам, которая не позволяет корректно сгруппировать 256 оттенков в 30, поэтому разобьём цветовой спектр монохромного изображения на 24 группы. Таким образом, каждая группа будет состоять из 256 / 24 = 10,67 ≈ 11 оттенков. Затем в обрабатываемом монохромном изображении проводится замена оттенков, попадающих в группу, на начальный оттенок этой группы (таблица 1).

Таблица 1 – Замены оттенков

Изначаль-ные оттенки Новые оттенки Изначаль-ные оттенки Новые оттенки Изначаль-ные оттенки Новые оттенки
0..10 0 88..98 88 176..186 176
11..21 11 99..109 99 187..197 187
22..32 22 110..120 110 198..208 198
33..43 33 121..131 121 209..219 209
44..54 44 132..142 132 220..230 220
55..65 55 143..153 143 231..241 231
66..76 66 154..164 154 242..252 242
77..87 77 165..175 165 253..255 253
 

На рисунке 6 представлен результат работы предиктора с исходными тестовыми изображениями. Сравнивая изображения до (рисунок 4) и после обработки предиктором (рисунок 6), можно сделать вывод, что визуально детализация и информативность изображения была сохранена.

30-03-2020 12-41-30

Рис. 6 – Результат обработки предиктором: а – ТИ 1; б – ТИ 2; в – ТИ 3

 

На рисунке 7 представлены результаты выделения контуров изображений методом РОС с применением предложенного предиктора.

 

30-03-2020 12-41-41

Рис. 7 - Выделение контуров методом РОС после обработки предиктора: а – ТИ 2; б – ТИ 3

 

На полученных изображениях вся необходимая информация сохранена (выполнено требование критерия 2). Дополнительным эффектом такого подхода является излишняя детализация, однако варьируя количество оттенков (вместо предложенных 30) в группе можно повышать или снижать уровень детализации бинарного изображения.

Сравнение с другими алгоритмами

Проведено сравнение предложенного подхода (метод РОС и предиктор) с другими популярными [25] алгоритмами выделения контура, такими как операторы Канни и Кирша, а также Лапласианом 5х5. Сравнение результатов выполнения алгоритмов производилось по следующим оценкам:

  • визуальная оценка качества выделения контуров при помощи нечётких множеств [26];
  • оценка толщины контуров полученных изображений;
  • численная оценка качества выделения границ на основе пикового отношения сигнала к шуму [27];
  • оценка временных затрат выполнения алгоритмов.

Визуальная оценка. Для тестирования качества работы алгоритма проведено сравнение с другими алгоритмами на изображениях (ТИ 4, 5, 6), не относящихся к решаемой задаче данной работы (рисунок 8) [28].

30-03-2020 12-41-56

Рис. 8 – Тестовые изображения ТИ 4, 5 и 6 из работы [28]

  На рисунках 9-11 представлены тестовые изображения и результаты работы алгоритмов.  

30-03-2020 12-42-22

Рис. 9 – ТИ 4: а – обработка иерархическим методом Оцу; б – обработка  методом РОС без предиктора; в – обработка методом РОС с предиктором; г – обработка оператором Канни; д – обработка оператором Кирша; е – обработка Лапласианом 5х5

30-03-2020 12-48-44

Рис. 10 – ТИ 5: а – обработка иерархическим методом Оцу; б – обработка  методом РОС без предиктора; в – обработка методом РОС с предиктором; г – обработка оператором Канни; д – обработка оператором Кирша; е – обработка Лапласианом 5х5

30-03-2020 12-49-02

Рис. 11 – ТИ 6: а – обработка иерархическим методом Оцу; б – обработка  методом РОС без предиктора; в – обработка методом РОС с предиктором; г – обработка оператором Канни; д – обработка оператором Кирша; е – обработка Лапласианом 5х5

 

Как видно из изображений, у каждого алгоритма свои положительные стороны и недостатки, в зависимости от исходного изображения. Для оценки визуального качества результатов каждого из алгоритмов был проведён опрос пятидесяти респондентов, которых попросили произвести оценку полученных результатов по десятибалльной шкале (1 – наихудший показатель, 10 – наилучший) по трём критериям: точность детализации, чёткость контуров, качество изображения в целом. Средневзвешенная оценка критериев каждого из алгоритмов представлена в таблице ниже (таблица 2). Иерархический метод Оцу не рассматривался в сравнении, т.к. он применяется к полутоновым изображениям (при этом на тестах показывает хорошие результаты).

 

Таблица 2 – Средневзвешенная оценки критериев

Алгоритм Оценка детализации Оценка контуров Оценка качества
РОС с предиктором 5.2 4.94 5.31
РОС б/предиктора 6.16 5.71 4.70
Оператор Канни 5.25 5.1 5.03
Оператор Кирша 6.96 7.38 6.81
Оператор Лапласа 6.57 6.69 6.48
 

Средневзвешенный балл оцениваемого критерия используется в качестве входных переменных системы нечеткого вывода для оценки его качества. При этом каждая переменная описывается одним из трех термов: П – «плохо», У – «удовлетворительно», Х – «хорошо». Для каждой из трёх переменных была установлена функция принадлежности вида . Выходная переменная «качество результатов выполнения алгоритма» также описывается одним из трех указанных термов. В таблице 3 приведены некоторые правила для определения взаимосвязей между входными и выходной переменными.

 

Таблица 3 – Правила взаимосвязей между переменными

Детализация Контуры Качество изображения Качество результатов алгоритма
X X X X
X У X X
У X У У
П У П П
 

После проведения процедуры дефаззификации с использованием метода центра тяжести и применения правил нечёткого вывода получены следующие результаты (таблица 4). Из полученных результатов можно сделать вывод, что по визуальной оценке наиболее предпочтительными являются результаты операторов Кирша и Лапласа. Очевидно, что данное предпочтение было отдано респондентами благодаря толщине полученных линий контура и точности передачи деталей, необходимых для понимания информации, которую несёт в себе изображение. Поэтому довольно удивительно, что использование оператора Лапласа редко упоминается в других работах.

 

Таблица 4 – Результаты оценки нечеткими множествами

Алгоритм Качество результатов
РОС с предиктором Удовлетворительное
РОС б/предиктора Удовлетворительное
Оператор Канни Удовлетворительное
Оператор Кирша Хорошее
Оператор Лапласа Хорошее
 

Оценка толщины контуров. При получении контуров толщина выделяемой границы должна стремиться к одной точке [29]. Для оценки степени выполнимости этого критерия в данной работе осуществляется выделение контуров на тестовом изображении 7 (рисунок 11). Границы изображения очерчены единичным контуром. Результаты применения алгоритмов представлены на рисунках 12, а-е.

30-03-2020 12-52-12

Рис. 11 – Трехцветное картографическое изображение (ТИ 7)

 

30-03-2020 12-52-24

Рис. 12 – ТИ 7: а – обработка иерархическим методом Оцу; б – обработка методом РОС без предиктора; в – обработка методом РОС с предиктором; г – обработка оператором Канни; д – обработка оператором Кирша; е – обработка Лапласианом 5х5

 

Из полученных изображений без дополнительных вычислений видно, что метод Оцу и предложенный метод РОС удовлетворяют данному критерию.

Численная оценка качества выделения границ. Для численной оценки качества выделения границ используется метод на основе пикового отношения сигнала к шуму (PSNR) [27]. Для этого рассчитываются три показателя: вероятность верного детектирования, вероятность ошибки первого рода, вероятность ошибки второго рода, используя формулы 3-5 соответственно. Здесь 30-03-2020 12-53-33  – количество граничных точек в идеальном контуре объекта; 30-03-2020 12-53-40 – количество граничных точек в полученном в процессе детектирования контуре объекта; TP – количество верно определённых точек объекта; FN – количество точек, которые являются граничными точками объекта, но которые не были обнаружены детектором границ; FP – количество точек, которые не являются граничными точками объекта, но которые были определены детектором границ.

30-03-2020 12-55-23

Расчёт численной оценки качества выделения границ выполняется по формулам 6-7, где RE – относительная ошибка, определённая через рассмотренные ранее примитивные метрики, в которой α – константа, ограничивающая RE сверху; b,c,d – весовые коэффициенты, являющиеся мерами значимости примитивных метрик.

30-03-2020 12-56-54

Критерий оптимальной сегментации рассматривается в виде: 30-03-2020 12-58-18. Поскольку тестовое изображение 7 (рис.11) и есть контур, то можно определить 30-03-2020 12-58-26, сравнив изображения с самим собой. В качестве коэффициентов α, b, c, d использовались константы 2, 0.7, 0.2 и 0.1 соответственно. Результаты расчётов представлены в таблице 5.

Таблица 5 – Численная оценка качества

Метод
Эталон 1 0 0 0.37 4.31
РОС без предиктора 1 0 0 0.37 4.31
РОС с предиктором 1 0 0 0.37 4.31
Оператор Канни 0.09 0.29 0.91 0.70 1.57
Оператор Кирша 0.28 0 0.72 0.60 2.21
Лапласиан 5x5 0 0.20 1 0.72 1.42
 

Из таблицы 5 видно, что благодаря своему свойству выделения единичной линии контура, и тому, что данное изображение изначально создавалось в цифровом виде, метод РОС в обоих случаях показал 100%-ое выделение всех линий контура.

Оценка временных затрат. Для оценки временных затрат выполнения алгоритмов было взято тестовое изображение размерностью 4140х5520 пикселей. Расчёты проводились на 2-х ядрах процессора Intel® Core™ i5-6267U CPU с частотой 2.90 GHz. Результаты тестирования представлены в таблице 6. Тестирование показывает, что наименее ресурсозатратным является метод РОС, причём использование предиктора ускоряет выполнение основного алгоритма.

Таблица 6 – Время выполнения алгоритмов

Метод Время выполнения, с
Оператор Канни 249
Метод РОС без предиктора 44
Метод РОС с предиктором 31
Оператор Кирша 70
Оператор Лапласа 70
Заключение

В ходе исследования было проведено тестирование известных алгоритмов обработки изображения. Поскольку результаты работы большинства из этих алгоритмов не удовлетворяли установленным критериям, были предложены эмпирические алгоритмы, которые позволяют добиться необходимых результатов в получаемом на выходе изображении. Как показало тестирование, предложенные алгоритмы эффективно справляются с фотоснимками, с изображениями с низким порогом световой чувствительности (ТИ 2 и 3) и изображениями, в которых отсутствует градиент (контурное изображение), при этом соблюдаются численные оценочные критерии. Однако стоит также отметить, что авторы работы изначально незаслуженно мало уделили внимания известному иерархическому методу Оцу, который также в большинстве случаев показывал хорошие результаты работы (на предварительно обработанных изображениях).

Авторы статьи ведут разработку мобильного приложения для смартфонов на базе ОС Android, в котором номер маршрута общественного транспорта сначала распознается, а затем озвучивается пользователю с помощью голосового синтезатора. Выявленные в данной работе лучшие алгоритмы решают задачу сохранения номера маршрута общественного транспорта на изображении после предварительной обработки. Затем на изображении ведётся поиск общественного транспорта по его схематичному представлению (для локализации места поиска номера таблички с номером маршрута). В дальнейшем осуществляется распознавание цифр номера маршрута на заданных участках и его озвучивание синтезатором голоса. 

Финансирование Работа выполнена в рамках инициативного проекта КемГУ. Funding The work was carried out within the framework of the initiative project KemSU.
Конфликт интересов Не указан. Conflict of Interest None declared.

Список литературы / References

  1. Карабцев С.Н. Информационное обеспечение доступной образовательной среды для лиц с ограниченными возможностями здоровья и инвалидностью в условиях ВУЗа / С.Н. Карабцев, Т.А. Хорошева, Р.С. Макарчук // Международный научно-исследовательский журнал. - 2017. - № 2-3 (56). - С. 105-108.
  2. Karabtсev S.N. BLE beacon interaction module and mobile application in the indoor-navigation system / S.N. Karabtсev, T.A. Khorosheva, N.R. Kapkov // В сборнике: International Science and Technology Conference EastConf 2019. – 2019. - С. 51-56.
  3. Фокин Д.С. Реализация программных модулей взаимодействия с системами синтеза и распознавания речи для лиц с нарушениями зрения / Д.С. Фокин, С.Н. Карабцев // В сборнике: Материалы XX Всероссийской научно-практической конференции "Научное творчество молодежи. Математика. Информатика" Материалы XX Всероссийской научно-практической конференции. - 2016. - С. 180-185.
  4. Визильтер Ю.В. Обработка и анализ цифровых с примерами на LabVIEW и IMAQ Vision / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бондаренко, М.В. Осоков, А.В. Моржин. - М.: ДМК Пресс, 2016. – 464 с.
  5. Chang C.I. Hyperspectral Data Processing: Algorithm Design and Analysis / C.I.Chang // John Wiley & Sons, 2013. – 1164 p.
  6. Винклер Г. Анализ изображений, случайные поля и динамические методы Монте-Карло / Г. Винклер. - Новосибирск: Филиал “Гео” Издательства СО РАН, 2002. – 343 с.
  7. Вахитов А.Т. Алгоритм случайной выборки в задаче поиска образца в изображении / А.Т. Вахитов, Д.В. Павленко // Труды СПИИРАН. вып. 9, 2009. С. 178–185.
  8. Demidova L.A. Algorithms of the Objects’ Identification According to Hyperspectral Shooting of the «Resource-P» Spacecraft / L.A. Demidova, S.V. Truhanov // MATEC Web of Conferences 99, 03002, – 2017. – 6 p.
  9. Носова С.А. Построение модели кровеносных сосудов и их исследование по данным компьютерной томограммы / С.А. Носова // Вестник ННГУ, №1(2), – 2014. – С. 265-269.
  10. Альмияхи О.М. Сегментация изображений на основе волнового выращивания областей / О.М. Альмияхи, В.Ю. Цветков, В.К. Конопелько // Доклады БГУИР, №3 (97). – 2016. – С. 24-30.
  11. Bavya K. Feature Extraction and Classification of Automatically Segmented Lung Lesion Using Improved Toboggan Algorithm / K. Bavya, P. Julian // International Journal of Advanced Engineering Research and Science, №4 (6), 2017. – P. 1–9.
  12. Otsu N. A. Threshold selection method from gray-level histograms / N.A. Otsu // IEEE Trans. Systems. Man and Cybernetics. – Vol. SMC-9. №1. – 1979. –P. 62-66.
  13. Bradley D. Bradley Adaptive Thresholding Using the Integral Image / D. Bradley, G. Roth // Journal of Graphics Tools. – Vol. 12(2). – 2007. -P. 13-21.
  14. Niblack W. An Introduction to Digital image processing / W. Niblack // Prentice Hall, 1986. – 215 p.
  15. Sauvola J. Adaptive document image binarization / J. Sauvola // Pattern Recognition. –Vol. 33, 2000. – P. 225–236.
  16. Wolf C. Extraction and Recognition of Artificial Text in Multimedia Documents / C. Wolf, J-M. Jolion // Pattern Analysis and Applications. -Vol. 6. – 2003. – P. 309–326.
  17. Харинов М.В. Альтернатива иерархическому методу Оцу для цветового изображения / М.В. Харинов // Вестник Бурятского государственного университета. –Т. 9(2). – 2014. – С. 64-72.
  18. Титов И.О. Выделение контуров изображения движущегося объекта / И.О. Титов, Г.М. Емельянов // Вестник Новгородского государственного университета. -№. 55, 2010. – С. 27-31.
  19. Haddad R.A. A Class of Fast Gaussian Binomial Filters for Speech and Image Processing / R.A. Haddad, A.N. Akansu // IEEE Transactions on Acoustics, Speech and Signal Processing. - Vol. 39, 1991. -P. 723-727.
  20. Kirsh R.A. Computer Determination of the Constituent Structure of Bio1ogical Images / R.A.Kirsh // Computers and biomedical research. –Vol. 4, 1971. -P. 315-328.
  21. Canny J. A computational approach to edge detection / J.A. Canny // IEEE Transactions on pattern analysis and machine intelligence. -Vol. 8, № 6, 1986. -P. 679–698.
  22. Лукин А.С. Локальная оценка уровня шума на цифровых изображениях / А.С. Лукин, Н.В. Мамаев, Д.В. Юрин // Труды 16-й международной конференции «Цифровая обработка сигналов и её применение». -Т. 2, 2014. - С. 445–449.
  23. Хрящев Д.А. Предварительная обработка и анализ цифровых изображений, полученных в условиях недостаточной освещенности: автореф. дис. … канд. техн. наук: 28.02.14 //ФГБОУ ВПО КГТУ, 2014. -16 с.
  24. Kreit E. Biological versus electronic adaptive coloration: how can one inform the other? / E. Kreit, L.M. Ma ̈thger, R.T. Hanlon, P.B. Dennis, R.R. Naik, E.Forsythe, J. Heikenfeld // Journal of the Royal Society Interface. -Vol. 10 (78), 2013. - 13p.
  25. Пелевин Е.Е. Оптимальные алгоритмы выделения контуров изображения в системе технического зрения / Е.Е. Пелевин, С.В. Балясный // Juvenis scientia. - № 6, 2016. - С. 6-8.
  26. Польте Г.А. Количественная оценка качества изображений с использованием методов нечеткой логики / Г.А. Польте, А.П. Саенко // Известия вузов. Приборостроение. - Т. 54, № 3, 2011. - С. 32-36.
  27. Лебедько Д.С. Заки Хассан. Методы численной оценки качества выделения границ на изображениях / Д.С. Лебедько, Н.А. Тюкачёв, М.Н. Мохаммед // Вестник ВГУ, серия: Системный анализ и информационные технологии. -№ 4, 2015. - С. 73-77.
  28. Brown University: pb-lite Boundary Detection, part 1, part 2 [Электронный ресурс]. URL: URL: http://cs.brown.edu/courses/cs143/2011/ results/proj2/vibhu (дата обращения: 12.05.2019).
  29. Дубинин Д.В. Оценка качества алгоритмов оконтуривания объектов на изображениях, аппроксимированных однородными Марковскими полями / Д.В. Дубинин, В.Е. Лаевский, А.И. Кочегуров // Известия Томского политехнического университета. - Т. 317, № 5, 2010. - С. 130-134.

Список литературы на английском языке / References in English

  1. Karabtsev S.N. Informatsionnoye obespecheniye dostupnoy obrazovatel'noy sredy dlya lits s ogranichennymi vozmozhnostyami zdorov'ya i invalidnost'yu v usloviyakh VUZa [Information support of an accessible educational environment for people with disabilities and disabilities in university] / S.N. Karabtsev, T.A. Khorosheva, R.S. Makarchuk // Mezhdunarodnyy nauchno-issledovatel'skiy zhurnal [International Research Journal]. – 2017. – No. 2-3 (56). – P. 105-108. [in Russian]
  2. Karabtсev S.N. BLE beacon interaction module and mobile application in the indoor-navigation system / S.N. Karabtсev, T.A. Khorosheva, N.R. Kapkov // In the collection: International Science and Technology Conference EastConf 2019. – 2019. – P. 51-56.
  3. Fokin D.S. Realizatsiya programmnykh moduley vzaimodeystviya s sistemami sinteza i raspoznavaniya rechi dlya lits s narusheniyami zreniya [Implementation of software modules for interaction with speech synthesis and recognition systems for people with visual impairments] / D.S. Fokin, S.N. Karabtsev // V sbornike: Materialy XX Vserossiyskoy nauchno-prakticheskoy konferentsii "Nauchnoye tvorchestvo molodezhi. Matematika. Informatika" Materialy XX Vserossiyskoy nauchno-prakticheskoy konferentsii [In the collection: Materials of the XX All-Russian scientific-practical conference "Scientific creativity of youth. Mathematics. Computer science" Materials of the XX All-Russian scientific-practical conference]. – 2016. – P. 180-185. [in Russian]
  4. Visilter Yu.V. Obrabotka i analiz tsifrovykh s primerami na LabVIEW i IMAQ Vision [Digital processing and analysis with examples on LabVIEW and IMAQ Vision] / Yu.V. Visilter, S.Yu. Zheltov, A.V. Bondarenko, M.V. Osokov, A.V. Morgin. – M.: DMK Press, 2016. – 464 p. [in Russian]
  5. Chang C.I. Hyperspectral Data Processing: Algorithm Design and Analysis / C.I.Chang // John Wiley & Sons, 2013. – 1164 p.
  6. Winkler G. Analiz izobrazheniĭ, sluchaynyye polya i dinamicheskiye metody Monte-Karlo [Image analysis, random fields and dynamic Monte Carlo methods] / G. Winkler. – Novosibirsk: "Geo" Publishing House, SB Branch of RAS, 2002. – 343 p. [in Russian]
  7. Vakhitov A.T. Algoritm sluchaynoy vyborki v zadache poiska obraztsa v izobrazhenii [Random Sampling Algorithm in Problem of Searching a Pattern in Image] / A.T. Vakhitov, D.V. Pavlenko // Trudy SPIIRAN [Proceedings of SPIIRAS]. – Is. 9, 2009. – P. 178–185. [in Russian]
  8. Demidova L.A. Algorithms of the Objects’ Identification According to Hyperspectral Shooting of the «Resource-P» Spacecraft / L.A. Demidova, S.V. Truhanov // MATEC Web of Conferences 99, 03002, – 2017. – 6 p.
  9. Nosova S.A. Postroyeniye modeli krovenosnykh sosudov i ikh issledovaniye po dannym komp'yuternoy tomogrammy [Construction of blood vessel models and their study according to computed tomography] / S.A. Nosova // Vestnik NNGU [Bulletin of the NNSU], – No. 1 (2), – 2014. – P. 265-269. [in Russian]
  10. Almiyahi O.M. Segmentatsiya izobrazheniy na osnove volnovogo vyrashchivaniya oblastey [Image Segmentation Based on Wave Growth of Regions] / O.M. Almiyahi, V.Yu. Tsvetkov, V.K. Konopelko // [Reports of BSUIR], – No. 3 (97). – 2016. – P. 24-30. [in Russian]
  11. Bavya K. Feature Extraction and Classification of Automatically Segmented Lung Lesion Using Improved Toboggan Algorithm / K. Bavya, P. Julian // International Journal of Advanced Engineering Research and Science, №4 (6), 2017. – P. 1–9.
  12. Otsu N. A. Threshold selection method from gray-level histograms / N.A. Otsu // IEEE Trans. Systems. Man and Cybernetics. – Vol. SMC-9. №1. – 1979. –P. 62-66.
  13. Bradley D. Bradley Adaptive Thresholding Using the Integral Image / D. Bradley, G. Roth // Journal of Graphics Tools. – Vol. 12(2). – 2007. -P. 13-21.
  14. Niblack W. An Introduction to Digital image processing / W. Niblack // Prentice Hall, 1986. – 215 p.
  15. Sauvola J. Adaptive document image binarization / J. Sauvola // Pattern Recognition. –Vol. 33, 2000. – P. 225–236.
  16. Wolf C. Extraction and Recognition of Artificial Text in Multimedia Documents / C. Wolf, J-M. Jolion // Pattern Analysis and Applications. -Vol. 6. – 2003. – P. 309–326.
  17. Kharinov M.V. Al'ternativa iyerarkhicheskomu metodu Otsu dlya tsvetovogo izobrazheniya [Alternative to Otsu hierarchical method for color image] / M.V. Kharinov // Vestnik Buryatskogo gosudarstvennogo universiteta [Bulletin of the Buryat State University]. – V. 9 (2). – 2014. – P. 64-72. [in Russian]
  18. Titov I.O. Vydeleniye konturov izobrazheniya dvizhushchegosya ob"yekta [Detection of contours on moving object image] / I.O. Titov, G.M. Emelyanov // Vestnik Novgorodskogo gosudarstvennogo universiteta [Bulletin of Novgorod State University]. – No. 55. – 2010. – P. 27-31. [in Russian]
  19. Haddad R.A. A Class of Fast Gaussian Binomial Filters for Speech and Image Processing / R.A. Haddad, A.N. Akansu // IEEE Transactions on Acoustics, Speech and Signal Processing. - Vol. 39, 1991. -P. 723-727.
  20. Kirsh R.A. Computer Determination of the Constituent Structure of Bio1ogical Images / R.A.Kirsh // Computers and biomedical research. –Vol. 4, 1971. -P. 315-328.
  21. Canny J. A computational approach to edge detection / J.A. Canny // IEEE Transactions on pattern analysis and machine intelligence. -Vol. 8, № 6, 1986. -P. 679–698.
  22. Lukin A.S. Lokal'naya otsenka urovnya shuma na tsifrovykh izobrazheniyakh [Local estimation of noise level in digital images] / A.S. Lukin, N.V. Mamaev, D.V. Yurin // Trudy 16-y mezhdunarodnoy konferentsii «Tsifrovaya obrabotka signalov i yeyo primeneniye» [Proceedings of the 16th international conference "Digital signal processing and its application."] – V. 2, – 2014. – P. 445–449. [in Russian]
  23. Khryashchev D.A. Predvaritel'naya obrabotka i analiz tsifrovykh izobrazheniy, poluchennykh v usloviyakh nedostatochnoy osveshchennosti [Pre-processing and analysis of digital images obtained in low light conditions] PhD thesis in Engineering: 02.28.14 // FSBOU VPO KSTU, 2014. – 16 p. [in Russian]
  24. Kreit E. Biological versus electronic adaptive coloration: how can one inform the other? / E. Kreit, L.M. Ma ̈thger, R.T. Hanlon, P.B. Dennis, R.R. Naik, E.Forsythe, J. Heikenfeld // Journal of the Royal Society Interface. – Vol. 10 (78), 2013. – 13 p.
  25. Pelevin E.E. Optimal'nyye algoritmy vydeleniya konturov izobrazheniya v sisteme tekhnicheskogo zreniya [Optimal algorithms for detecting image contours in technical vision system] / E.E. Pelevin, S.V. Balustered // Juvenis scientia. – No. 6, 2016. – P. 6-8. [in Russian]
  26. Polte G.A. Kolichestvennaya otsenka kachestva izobrazheniy s ispol'zovaniyem metodov nechetkoy logiki [Quantitative assessment of image quality using fuzzy logic methods] / G.A. Polte, A.P. Sayenko // [University proceedings. Instrument making]. – V. 54, – No. 3, 2011. – P. 32-36. [in Russian]
  27. Lebedko D.S. Zaki Hassan. Metody chislennoy otsenki kachestva vydeleniya granits na izobrazheniyakh [Methods for numerical assessment of quality of border allocation on images] / D.S. Lebedko, N.A. Tyukachev, M.N. Mohammed // Vestnik VGU, seriya: Sistemnyy analiz i informatsionnyye tekhnologii [Bulletin of Voronezh State University, series: System analysis and information technology]. – No. 4, 2015. – P. 73-77. [in Russian]
  28. Brown University: pb-lite Boundary Detection, part 1, part 2 [Электронный ресурс]. URL URL: http://cs.brown.edu/courses/cs143/2011/results/proj2/vibhu (accessed: 05,12,2019).
  29. Dubinin D.V. Otsenka kachestva algoritmov okonturivaniya ob"yektov na izobrazheniyakh, approksimirovannykh odnorodnymi Markovskimi polyami [Assessment of quality of contouring algorithms for objects in images approximated by homogeneous Markov fields] / D.V. Dubinin, V.E. Laevsky, A.I. Kochegurov // Izvestiya Tomskogo politekhnicheskogo universiteta [Bulletin of Tomsk Polytechnic University]. – V. 317, – No. 5, – 2010. – P. 130-134. [in Russian]