SELECTING THE RAPPORT ON THE IMAGE OF TEXTILE ORNAMENT AND IDENTIFYING ITS WEAVE
SELECTING THE RAPPORT ON THE IMAGE OF TEXTILE ORNAMENT AND IDENTIFYING ITS WEAVE
Abstract
This article is dedicated to the development of methods of rapport extraction in the image of textile ornament. The aim of the work is to create automatic methods with high accuracy applicable to numerous images. The paper presents a review of existing methods for rapport extraction and proposes a new method based on a combination of convolutional and recurrent neural networks, which has also been compared with existing methods. Experimental results confirm the effectiveness of the proposed approaches, especially the combination of convolutional and recurrent neural networks. They show potential for industrial and research applications in the field of textiles and ornamentation. The proposed methods can be further developed and optimized to improve the accuracy and robustness of the algorithms.
1. Введение
В современном мире автоматический анализ изображений нашёл широкое применение в множестве областей, включая медицину, промышленность и искусство. В текстильной индустрии выделение раппорта и определение переплетения играют важную роль в различных приложениях: от производства текстильных материалов до конструирования моделей и создания цифровых архивов.
Выделение раппорта представляет собой процесс определения повторяющихся элементов на текстурном изображении, которые могут варьировать по размеру и ориентации. Определение переплетения – это задача идентификации структуры ткани на основе расположения нитей. Ручное выделение раппорта и определение переплетения требуют значительных временных затрат и усилий экспертов, что создаёт препятствия для автоматизации процесса и увеличивает издержки производства.
Целью данной работы является разработка методов выделения раппорта на изображении текстильного орнамента и определения переплетения, которые могут быть автоматически применены к большому массиву изображений с высокой степенью точности. В рамках этого исследования также проводится сравнение предлагаемых методов с уже существующими, чтобы оценить их эффективность и области применения.
В последние годы было разработано несколько методов для выделения раппорта на изображениях текстильных орнаментов и определения переплетения.
Первая группа методов основана на алгоритмах выделения контуров, которые фокусируются на поиске границ объектов в изображении. Один из наиболее известных методов выделения контуров на изображении текстильного орнамента – это метод Кэнни
, который применяет гауссовский фильтр для сглаживания изображения и детектирования границ с помощью оператора Собеля. Существуют также другие методы выделения контуров, такие как методы, основанные на детекторе границ К-ребер (Kirsch), операторе Лапласа и др.В работе
предложен метод на основе сверточных нейронных сетей (CNN), способный обрабатывать изображения различных размеров и ориентаций. Этот метод использует архитектуру U-Net для извлечения признаков из изображения и последующей сегментации.Вторая группа методов базируется на алгоритмах выделения текстуры, применяемых для извлечения текстурных признаков в изображении. Примеры включают методы, основанные на фильтрах Габора
, , методы математической морфологии , , а также методы, использующие гистограммы и алгоритмы сегментации .Борзунов Г.И. в работе
описывает быстрые алгоритмы определения раппорта.Что касается определения переплетения на раппорте, применяются различные методы, включая подходы на основе геометрических и текстурных признаков.
Методы, основанные на геометрических признаках, анализируют геометрические характеристики орнамента, например, расположение элементов и ориентацию линий. Методы, основанные на текстурных признаках, анализируют текстурные характеристики орнамента. В работе
предложен метод моделирования текстуры орнамента с помощью случайных полей Гиббса, позволяющих описывать статистические свойства текстурных областей изображения. Затем анализ проводится над параметрами модели для определения типа переплетения.Комбинированные методы объединяют геометрические и текстурные признаки для более точного определения типа переплетения. В работе
представлен метод, основанный на гистограммах ориентаций линий и гистограммах текстурных признаков для определения типа переплетения на изображении текстильного орнамента.В общем, методы определения переплетения на основе геометрических и текстурных признаков позволяют достигнуть высокой точности при определении типа переплетения на изображении текстильного орнамента. Эти методы находят широкое применение в промышленности и научных исследованиях.
2. Методы и принципы исследования
Для сравнительного анализа методов выделения раппорта и определения переплетения были проведены эксперименты на тестовом датасете.
Были выбраны три метода выделения раппорта:
1. Метод выделения контуров с помощью оператора Кэнни;
2. Метод выделения текстуры с помощью локальных бинарных шаблонов (Local Binary Patterns, LBP);
3. Метод, использующий комбинацию сверточных и рекуррентных нейронных сетей.
Для определения переплетения были выбраны два метода:
1. Метод определения переплетения на основе геометрических признаков;
2. Метод определения переплетения на основе текстурных признаков.
Каждый метод был протестирован на тестовом датасете, состоящем из 100 изображений текстильных орнаментов. Для оценки качества работы методов были использованы метрики точности, полноты и F-меры.
Точность (Precision) – ключевая метрика, которая позволяет оценить процент правильно классифицированных изображений текстильных орнаментов. Она определяется как отношение истинно положительных результатов к сумме истинно положительных и ложно положительных результатов. Таким образом, точность дает нам информацию о том, какую долю из изображений, отнесенных к определенному классу (например, типу орнамента), действительно принадлежит этому классу.
Полнота (Recall), в свою очередь, позволяет оценить долю изображений определенного класса, которые были корректно классифицированы. Эта метрика измеряется как отношение истинно положительных результатов к сумме истинно положительных и ложно отрицательных результатов.
F-мера (F1 Score) представляет собой гармоническое среднее между точностью и полнотой. Эта метрика является особенно полезной в ситуациях, когда необходимо учесть баланс между точностью и полнотой. F-мера может варьироваться от 0 до 1, где 1 указывает на идеальную точность и полноту, а 0 означает отсутствие истинно положительных результатов.
В контексте данного исследования, точность может быть интерпретирована как процент правильно идентифицированных орнаментов, в то время как полнота – как процент орнаментов, которые были правильно идентифицированы методами, выбранными для исследования. F-мера здесь служит балансом между этими двумя метриками, давая общую оценку качества работы выбранных методов выделения раппорта и определения переплетения.
Примеры использованных изображений представлены на рисунке 1.
Рисунок 1 - Пример изображений в датасете из коллекции кафедры Информационных технологий и компьютерного дизайна РГУ им. А.Н. Косыгина
Реализация экспериментов была выполнена на языке программирования Python с использованием библиотек OpenCV и scikit-learn. Оборудование для проведения исследований включало в себя компьютер с процессором Intel Core i7, 16 ГБ оперативной памяти и графическим процессором NVIDIA GeForce GTX 1080.
3. Основные результаты
В результате проведенных экспериментов было выявлено, что предложенный метод, использующий комбинацию сверточных и рекуррентных нейронных сетей, значительно улучшил качество выделения раппорта и определения переплетения на изображении текстильного орнамента по сравнению с другими рассмотренными методами. Результаты экспериментов представлены в таблицах 1-2.
Таблица 1 - Результаты сравнительного анализа методов выделения раппорта
Метод | Точность | Полнота | F-мера |
Оператор Кэнни | 0,85 | 0,91 | 0,88 |
LBP | 0,89 | 0,83 | 0,86 |
Сверточно-рекуррентные нейронные сети | 0,92 | 0,95 | 0,94 |
Таблица 2 - Результаты сравнительного анализа методов по определению переплетения
Метод | Точность | Полнота | F-мера |
Метод определения переплетения на основе геометрических признаков | 0,85 | 0,90 | 0,87 |
Метод определения переплетения на основе текстурных признаков | 0,92 | 0,87 | 0,89 |
Полученные результаты свидетельствуют о превосходстве метода, основанного на комбинации сверточных и рекуррентных нейронных сетей, для задач выделения раппорта и определения переплетения. Это подтверждается результатами по всем примененным метрикам. Метод выделения контуров с помощью оператора Кэнни также продемонстрировал удовлетворительные результаты, однако он наиболее эффективен для определения переплетения на основе геометрических признаков. Относительно слабее себя проявил метод выделения текстуры с использованием локальных бинарных шаблонов (LBP).
В рамках данной работы представлен новый метод, основанный на комбинации сверточных и рекуррентных нейронных сетей для решения задачи выделения раппорта на изображении текстильного орнамента и определения переплетения на нем. В дальнейшем предлагается сравнение предложенного метода с уже существующими в данной области для оценки его эффективности и применимости.
Данный метод включает два ключевых этапа: сегментацию изображения и классификацию переплетения. Во время первого этапа, при помощи сверточной нейронной сети, изображение декомпозируется на раппорты и фон. Одним из преимуществ использования сверточных нейронных сетей является их способность к автоматическому извлечению признаков из растровых данных.
На втором этапе, с использованием рекуррентной нейронной сети, каждый выделенный раппорт классифицируется по типу переплетения. Рекуррентные нейронные сети, в свою очередь, эффективно обрабатывают последовательные данные, что позволяет сканировать раппорт построчно для определения его переплетения.
Обучение такой комбинированной модели подразумевает подготовку обучающей выборки из размеченных изображений текстильных орнаментов с указанием типа переплетения. С использованием фреймворка глубокого обучения, такого как TensorFlow или PyTorch, возможно создать и обучить модель на этой выборке данных.
Предложенный метод позволяет достигать высокой точности в выделении раппорта на изображении текстильного орнамента и определении его переплетения. Это становится важным шагом в автоматизации производства текстильных изделий.
Для обучения и тестирования моделей использовалась методология кросс-валидации с пятью блоками, а качество моделей оценивалось по таким метрикам как точность и полнота.
Метрики точности и полноты для предложенного метода составили 0,92 и 0,87 соответственно, что свидетельствует о его высокой точности и надежности. Это гарантирует эффективность и применимость данного подхода в промышленности и научных исследованиях.
Оператор Кэнни демонстрирует хорошие результаты при определении переплетения на основе геометрических признаков, однако его производительность ниже по сравнению с предложенным методом. Метод выделения текстуры с использованием LBP оказался менее эффективным, что подтверждает его неприменимость в данной задаче.
4. Заключение
Разработанные методы выделения раппорта на изображении текстильного орнамента и определения переплетения на нем позволяют автоматически применять их с высокой точностью к большому количеству изображений, что является основной целью данной работы. Проведенное сравнение различных методов показало, что комбинация сверточных и рекуррентных нейронных сетей оказалась наиболее эффективной для решения поставленной задачи. Однако методы выделения контуров, такие как оператор Кэнни, также могут быть использованы для определения переплетения на основе геометрических признаков. В то же время, методы выделения текстуры, такие как LBP, показали себя менее эффективными.
Новый предложенный метод, основанный на комбинации сверточных и рекуррентных нейронных сетей, демонстрирует высокую эффективность и применимость для выделения раппорта на изображении текстильного орнамента и определения переплетения на нем. Этот метод состоит из двух основных этапов: сегментации изображения и классификации переплетения. Проведенные эксперименты на наборе из 500 изображений текстильных орнаментов позволяют утверждать об устойчивости разработанных методов к различным характеристикам изображений, а также к наличию шума и артефактов на изображениях.
В целом, результаты данной работы подтверждают эффективность и применимость разработанных методов выделения раппорта на изображении текстильного орнамента и определения переплетения на нем. Такие методы могут быть полезными для промышленности и научных исследований в области текстиля и орнаментики. Однако для повышения точности и устойчивости методов возможно потребуется дополнительное исследование и оптимизация параметров алгоритмов, а также расширение набора данных для обучения и тестирования моделей.