Использование искусственного интеллекта для обнаружения дефектов в аддитивно-субтрактивном производстве
Использование искусственного интеллекта для обнаружения дефектов в аддитивно-субтрактивном производстве
Аннотация
Проволочная аддитивная наплавка (WAAM) перспективна для изготовления крупных металлических компонентов, однако нестабильность процесса часто приводит к появлению дефектов, таких как поры, трещины и непровары. Существующие методы контроля качества во многом зависят от оператора, что снижает их надежность и скорость. В данной статье представлена разработка интеллектуальной системы мониторинга, способной обнаруживать дефекты в реальном времени. Основу системы составляет гибридная архитектура искусственного интеллекта, совмещающая сверточные нейронные сети (CNN) для анализа пространственных признаков и сеть с долгосрочной краткосрочной памятью (LSTM) для учета временных зависимостей. Новизна подхода заключается в глубокой интеграции и совместной обработке разнородных данных: видеопотока, тепловизионных изображений, сигналов тока и напряжения, а также акустических колебаний. Модель обучается на синхронизированных мультимодальных данных, что позволяет повысить надежность детектирования по сравнению с системами, использующими один тип сенсоров. Программный комплекс спроектирован с учетом требований промышленной интеграции и способен не только идентифицировать дефекты, но и инициировать корректирующие воздействия в контуре управления роботом-манипулятором. Экспериментальная валидация системы, проведенная на наборе данных, имитирующих различные дефекты наплавки, продемонстрировала точность классификации 92% при времени отклика менее 40 мс. Результаты подтверждают практическую пригодность системы для автоматизации контроля в аддитивно-субтрактивном производстве.
1. Введение
Проволочное аддитивное производство (Wire Arc Additive Manufacturing, WAAM) активно развивается как технология для создания металлических деталей со сложной геометрией и значительными габаритами , . Несмотря на свои преимущества, процесс характеризуется физической нестабильностью, которая проявляется в колебаниях дуги, неравномерном теплоотводе и формировании неоднородной микроструктуры. Эти факторы часто становятся причиной внутренних и поверхностных дефектов, критичных для механических свойств конечного изделия. Традиционный визуальный и инструментальный контроль обладает существенными ограничениями: он является дискретным, подвержен субъективным ошибкам оператора и не позволяет оперативно вмешиваться в технологический процесс.
Интеграция систем машинного зрения и анализа сигналов в режиме реального времени открывает путь к созданию систем автоматического мониторинга , . Однако большинство существующих решений фокусируются на анализе данных одного типа, например, только видеопотока или только осциллограмм тока, что не всегда обеспечивает достаточную достоверность для сложных и многофакторных дефектов , , .
Целью данного исследования является разработка архитектуры и программной реализации системы мониторинга, которая преодолевает указанные ограничения. В работе решаются следующие ключевые задачи:
· Создание методики синхронизированного сбора и комплексной предобработки мультимодальных данных, включая визуальные, тепловые и сигнальные потоки.
· Проектирование и обучение гибридной нейросетевой модели, способной эффективно извлекать и объединять пространственно-временные признаки из разнородных данных.
· Обеспечение интеграции модуля искусственного интеллекта в промышленный контур управления с возможностью как оперативного оповещения, так и активной коррекции параметров наплавки.
· Экспериментальная оценка точности и быстродействия системы в условиях, приближенных к реальному производству.
2. Методы построения системы мониторинга
2.1. Сбор и предобработка мультимодальных данных
Для формирования всесторонней картины процесса использовался комплекс сенсоров, данные с которых синхронизировались по общему тактовому сигналу.
· Высокоскоростная видеокамера (видимый диапазон) с частотой 30 кадр/с фиксировала геометрию валика и поведение сварочной ванны , .
· Тепловизор с частотой 10 кадр/с регистрировал двумерное температурное поле, критичное для выявления зон перегрева или недостаточного проплавления , , .
· Датчики тока и напряжения с частотой дискретизации 5 кГц обеспечивали запись осциллограмм, отражающих стабильность электрической дуги .
· Акустический микрофон с частотой дискретизации 100 кГц улавливал звуковые колебания, спектральный состав которых меняется при возникновении дефектов.
Предобработка данных выполнялась с учетом специфики каждого типа сигналов. Видео- и тепловизионные кадры подвергались фильтрации для подавления шумов . Для борьбы с интенсивными помехами от дугового излучения применялся медианный фильтр с ядром 5x5 пикселей, эффективно удаляющий импульсные выбросы (брызги). Для улучшения видимости ключевых элементов, таких как граница сварочной ванны, использовалось адаптивное выравнивание гистограммы (CLAHE) с размером блока 8x8. Затем, с помощью алгоритма на основе пороговой обработки и морфологических операций, автоматически выделялась область интереса (ROI), ограниченная зоной наплавки, что позволяло сократить объем данных для последующего анализа .
Сигналы с датчиков тока, напряжения и акустики нормализовались по методу Z-score для приведения к нулевому среднему и единичной дисперсии. Для анализа нестационарных характеристик этих сигналов применялось непрерывное вейвлет-преобразование (CWT) с материнским вейвлетом Морле, поскольку он обеспечивает хороший компромисс между временным и частотным разрешением для анализа сварочных процессов. Полученные вейвлет-спектрограммы (масштабированные до 224x224 пикселей) трактовались как полутоновые изображения и подавались на вход сверточных сетей наравне с визуальными данными.
2.2. Архитектура гибридной нейросетевой модели
Для классификации состояния процесса была разработана гибридная архитектура, объединяющая преимущества CNN для работы с изображениями и LSTM для анализа временных последовательностей , , . Модель реализована на фреймворке PyTorch.
Архитектура состоит из двух основных ветвей:
1. Пространственный блок (CNN): каждый тип данных (видео, тепловизор, спектрограммы) обрабатывается отдельным экземпляром сверточной сети. В основе каждого экземпляра лежит предобученная на ImageNet архитектура ResNet-34, у которой удален последний полносвязный слой. ResNet был выбран за свою эффективность и устойчивость к проблеме затухающего градиента. На выходе каждой CNN формируется вектор признаков размерностью 512.
2. Временной блок (LSTM): векторы признаков, извлеченные из последовательности кадров за временное окно, объединяются. В экспериментах использовалось окно длительностью в 1 секунду, что соответствовало 30 видеокадрам, 10 тепловизионным кадрам и соответствующему числу спектрограмм. Объединенный вектор последовательности подается на двухслойную LSTM со скрытым состоянием размером 128 единиц на каждом слое. Dropout с вероятностью 0.3 применяется между слоями LSTM для предотвращения переобучения.
Выход последней ячейки LSTM проходит через полносвязный классификационный слой с функцией активации Softmax. В данной работе решалась задача трехклассовой классификации: «Норма», «Пора», «Трещина». Для обучения использовался оптимизатор Adam с начальной скоростью обучения 1e-4 и функция потерь Cross-Entropy.
2.3. Интеграция в производственный контур и система обратной связи
Разработанный программный комплекс реализован в виде модульной системы на языке Python с использованием библиотек для работы с оборудованием (OpenCV, PyAudio, pylibftdi). Модуль инференса модели, оптимизированный с помощью TensorRT, работает на выделенной GPU (NVIDIA RTX A4000) .
Интеграция с системой управления промышленного робота-манипулятора (KUKA KR AGILUS) осуществлена через промышленный сетевой протокол EtherCAT , , . Это позволяет реализовать замкнутый контур управления. Алгоритм работы системы в реальном времени организован по конвейерному принципу:
1. Данные со всех сенсоров захватываются, синхронизируются и буферизуются.
2. Модуль предобработки применяет к каждому типу данных соответствующий конвейер фильтрации и преобразования.
3. Гибридная модель CNN+LSTM анализирует подготовленный пакет данных за текущее временное окно.
4. Если вероятность отнесения к классу «Дефект» превышает установленный порог в 0.85, система принимает решение о вмешательстве.
Вмешательство реализуется по одной из трех стратегий в зависимости от типа и серьезности дефекта:
· Оповещение оператора через HMI-интерфейс с указанием типа дефекта, его вероятной локации в слое и рекомендациями.
· Автоматическая коррекция параметров путем отправки управляющих команд контроллеру робота. Например, при обнаружении признаков непровара система может пропорционально увеличить сварочный ток на 5–10% на последующем участке траектории.
· Пометка дефектной зоны в цифровой модели изделия (G-code) для последующей обязательной субтрактивной обработки (фрезерования) на финишной стадии.
3. Экспериментальная оценка системы
3.1. Методология тестирования
Для обучения и тестирования модели был собран специализированный датасет. В процессе наплавки пластин из низкоуглеродистой стали ER70S-6 с использованием роботизированного комплекса FANUC ArcMate преднамеренно вносились возмущения, приводящие к образованию контролируемых дефектов: изменение скорости подачи проволоки для имитации пор, резкое охлаждение для индукции микротрещин. В результате было получено более 50 минут синхронизированных мультимодальных записей, которые были размечены экспертом-технологом. Датасет был разделен на обучающую, валидационную и тестовую выборки в пропорции 70/15/15 с сохранением временной последовательности для избежания утечки данных.
Эффективность системы оценивалась по стандартным метрикам классификации: Accuracy, Precision, Recall и F1-score. Критически важным параметром для реального времени являлась общая задержка системы (латентность) — время от момента считывания данных с сенсоров до формирования управляющего воздействия.
3.2. Результаты и обсуждение
Предложенная гибридная модель CNN+LSTM показала на тестовой выборке точность (Accuracy) 92.1%. Глубокий анализ ошибок показал, что основная часть ложных срабатываний связана с переходными процессами в начале и конце шва, где сигналы являются естественно нестабильными. Модель продемонстрировала сбалансированную эффективность по всем классам: F1-score для класса «Поры» составил 0.93, для класса «Трещины» — 0.88.
Время отклика всей системы в среднем составило 35 мс, что существенно ниже характерного времени развития критических дефектов в WAAM (сотни миллисекунд) и подтверждает возможность работы в режиме реального времени , .
Для оценки вклада мультимодальности и временного анализа была проведена серия сравнительных экспериментов:
· Модель только на видео (CNN): Accuracy = 86.5%, высокая доля ложных срабатываний на брызги.
· Модель на многоканальных сигналах (CNN на спектрограммах): Accuracy = 83.2%, плохая детекция геометрических аномалий.
· Мультимодальная CNN без LSTM (объединение признаков усреднением): Accuracy = 89.7%.
· Предлагаемая мультимодальная CNN+LSTM: Accuracy = 92.1%.
Результаты наглядно показывают, что совместное использование разнородных данных дает прирост в точности, а добавление временного контекста через LSTM позволяет дополнительно снизить долю ложных срабатываний на 15% по сравнению с чисто пространственной мультимодальной моделью, повышая надежность системы.
Рисунок 1 - Общая архитектура системы интеллектуального мониторинга WAAM на основе гибридной модели CNN+LSTM
4. Заключение
В работе представлена разработанная и апробированная интеллектуальная система мониторинга для проволочной аддитивной наплавки. Ее ключевыми отличиями являются:
1. Комплексный мультимодальный подход, при котором совместный анализ визуальных, тепловых и сигнальных данных позволяет достичь высокой достоверности детектирования (92,1% точности).
2. Гибридная архитектура ИИ, сочетающая CNN и LSTM, что обеспечивает чувствительность как к статическим аномалиям формы, так и к динамическим отклонениям в процессе.
3. Практическая ориентированность, подтвержденная успешной интеграцией в промышленный контур управления роботом с временем отклика менее 40 мс и реализацией механизмов активной обратной связи.
Проведенные эксперименты подтвердили, что предложенная система превосходит подходы, основанные на данных одного типа, и способна функционировать в условиях, приближенных к реальному производству. Это делает ее практичным инструментом для автоматизации контроля качества и повышения надежности аддитивно-субтрактивного производства. В качестве перспектив дальнейших исследований рассматриваются адаптация системы для новых материалов (титановые сплавы, алюминий), внедрение методов непрерывного обучения (continual learning) для адаптации к износу оборудования и расширение функционала для количественной оценки размеров дефектов с помощью архитектур семантической сегментации.