The use of artificial intelligence to find defects in additive-subtractive manufacturing
The use of artificial intelligence to find defects in additive-subtractive manufacturing
Abstract
Wire arc additive manufacturing (WAAM) is promising for the production of large metal components, but process instability often leads to defects such as pores, cracks, and incomplete fusions. Existing quality control methods are largely operator-dependent, which reduces their reliability and speed. This article presents the development of an intelligent monitoring system capable of detecting defects in real time. The system is based on a hybrid artificial intelligence architecture that combines convolutional neural networks (CNN) for spatial feature analysis and a long short-term memory (LSTM) network for temporal dependencies. The novelty of the approach lies in the deep integration and joint processing of heterogeneous data: video stream, thermal images, current and voltage signals, as well as acoustic vibrations. The model is trained on synchronised multimodal data, which improves detection reliability compared to systems using a single type of sensor. The software package is designed with industrial integration requirements in mind and is capable not only of identifying defects, but also of initiating corrective actions in the robot manipulator control loop. Experimental validation of the system, conducted on a dataset simulating various surfacing defects, demonstrated 92% classification accuracy with a response time of less than 40 ms. The results confirm the practical suitability of the system for automating control in additive-subtractive manufacturing.
1. Введение
Проволочное аддитивное производство (Wire Arc Additive Manufacturing, WAAM) активно развивается как технология для создания металлических деталей со сложной геометрией и значительными габаритами , . Несмотря на свои преимущества, процесс характеризуется физической нестабильностью, которая проявляется в колебаниях дуги, неравномерном теплоотводе и формировании неоднородной микроструктуры. Эти факторы часто становятся причиной внутренних и поверхностных дефектов, критичных для механических свойств конечного изделия. Традиционный визуальный и инструментальный контроль обладает существенными ограничениями: он является дискретным, подвержен субъективным ошибкам оператора и не позволяет оперативно вмешиваться в технологический процесс.
Интеграция систем машинного зрения и анализа сигналов в режиме реального времени открывает путь к созданию систем автоматического мониторинга , . Однако большинство существующих решений фокусируются на анализе данных одного типа, например, только видеопотока или только осциллограмм тока, что не всегда обеспечивает достаточную достоверность для сложных и многофакторных дефектов , , .
Целью данного исследования является разработка архитектуры и программной реализации системы мониторинга, которая преодолевает указанные ограничения. В работе решаются следующие ключевые задачи:
· Создание методики синхронизированного сбора и комплексной предобработки мультимодальных данных, включая визуальные, тепловые и сигнальные потоки.
· Проектирование и обучение гибридной нейросетевой модели, способной эффективно извлекать и объединять пространственно-временные признаки из разнородных данных.
· Обеспечение интеграции модуля искусственного интеллекта в промышленный контур управления с возможностью как оперативного оповещения, так и активной коррекции параметров наплавки.
· Экспериментальная оценка точности и быстродействия системы в условиях, приближенных к реальному производству.
2. Методы построения системы мониторинга
2.1. Сбор и предобработка мультимодальных данных
Для формирования всесторонней картины процесса использовался комплекс сенсоров, данные с которых синхронизировались по общему тактовому сигналу.
· Высокоскоростная видеокамера (видимый диапазон) с частотой 30 кадр/с фиксировала геометрию валика и поведение сварочной ванны , .
· Тепловизор с частотой 10 кадр/с регистрировал двумерное температурное поле, критичное для выявления зон перегрева или недостаточного проплавления , , .
· Датчики тока и напряжения с частотой дискретизации 5 кГц обеспечивали запись осциллограмм, отражающих стабильность электрической дуги .
· Акустический микрофон с частотой дискретизации 100 кГц улавливал звуковые колебания, спектральный состав которых меняется при возникновении дефектов.
Предобработка данных выполнялась с учетом специфики каждого типа сигналов. Видео- и тепловизионные кадры подвергались фильтрации для подавления шумов . Для борьбы с интенсивными помехами от дугового излучения применялся медианный фильтр с ядром 5x5 пикселей, эффективно удаляющий импульсные выбросы (брызги). Для улучшения видимости ключевых элементов, таких как граница сварочной ванны, использовалось адаптивное выравнивание гистограммы (CLAHE) с размером блока 8x8. Затем, с помощью алгоритма на основе пороговой обработки и морфологических операций, автоматически выделялась область интереса (ROI), ограниченная зоной наплавки, что позволяло сократить объем данных для последующего анализа .
Сигналы с датчиков тока, напряжения и акустики нормализовались по методу Z-score для приведения к нулевому среднему и единичной дисперсии. Для анализа нестационарных характеристик этих сигналов применялось непрерывное вейвлет-преобразование (CWT) с материнским вейвлетом Морле, поскольку он обеспечивает хороший компромисс между временным и частотным разрешением для анализа сварочных процессов. Полученные вейвлет-спектрограммы (масштабированные до 224x224 пикселей) трактовались как полутоновые изображения и подавались на вход сверточных сетей наравне с визуальными данными.
2.2. Архитектура гибридной нейросетевой модели
Для классификации состояния процесса была разработана гибридная архитектура, объединяющая преимущества CNN для работы с изображениями и LSTM для анализа временных последовательностей , , . Модель реализована на фреймворке PyTorch.
Архитектура состоит из двух основных ветвей:
1. Пространственный блок (CNN): каждый тип данных (видео, тепловизор, спектрограммы) обрабатывается отдельным экземпляром сверточной сети. В основе каждого экземпляра лежит предобученная на ImageNet архитектура ResNet-34, у которой удален последний полносвязный слой. ResNet был выбран за свою эффективность и устойчивость к проблеме затухающего градиента. На выходе каждой CNN формируется вектор признаков размерностью 512.
2. Временной блок (LSTM): векторы признаков, извлеченные из последовательности кадров за временное окно, объединяются. В экспериментах использовалось окно длительностью в 1 секунду, что соответствовало 30 видеокадрам, 10 тепловизионным кадрам и соответствующему числу спектрограмм. Объединенный вектор последовательности подается на двухслойную LSTM со скрытым состоянием размером 128 единиц на каждом слое. Dropout с вероятностью 0.3 применяется между слоями LSTM для предотвращения переобучения.
Выход последней ячейки LSTM проходит через полносвязный классификационный слой с функцией активации Softmax. В данной работе решалась задача трехклассовой классификации: «Норма», «Пора», «Трещина». Для обучения использовался оптимизатор Adam с начальной скоростью обучения 1e-4 и функция потерь Cross-Entropy.
2.3. Интеграция в производственный контур и система обратной связи
Разработанный программный комплекс реализован в виде модульной системы на языке Python с использованием библиотек для работы с оборудованием (OpenCV, PyAudio, pylibftdi). Модуль инференса модели, оптимизированный с помощью TensorRT, работает на выделенной GPU (NVIDIA RTX A4000) .
Интеграция с системой управления промышленного робота-манипулятора (KUKA KR AGILUS) осуществлена через промышленный сетевой протокол EtherCAT , , . Это позволяет реализовать замкнутый контур управления. Алгоритм работы системы в реальном времени организован по конвейерному принципу:
1. Данные со всех сенсоров захватываются, синхронизируются и буферизуются.
2. Модуль предобработки применяет к каждому типу данных соответствующий конвейер фильтрации и преобразования.
3. Гибридная модель CNN+LSTM анализирует подготовленный пакет данных за текущее временное окно.
4. Если вероятность отнесения к классу «Дефект» превышает установленный порог в 0.85, система принимает решение о вмешательстве.
Вмешательство реализуется по одной из трех стратегий в зависимости от типа и серьезности дефекта:
· Оповещение оператора через HMI-интерфейс с указанием типа дефекта, его вероятной локации в слое и рекомендациями.
· Автоматическая коррекция параметров путем отправки управляющих команд контроллеру робота. Например, при обнаружении признаков непровара система может пропорционально увеличить сварочный ток на 5–10% на последующем участке траектории.
· Пометка дефектной зоны в цифровой модели изделия (G-code) для последующей обязательной субтрактивной обработки (фрезерования) на финишной стадии.
3. Экспериментальная оценка системы
3.1. Методология тестирования
Для обучения и тестирования модели был собран специализированный датасет. В процессе наплавки пластин из низкоуглеродистой стали ER70S-6 с использованием роботизированного комплекса FANUC ArcMate преднамеренно вносились возмущения, приводящие к образованию контролируемых дефектов: изменение скорости подачи проволоки для имитации пор, резкое охлаждение для индукции микротрещин. В результате было получено более 50 минут синхронизированных мультимодальных записей, которые были размечены экспертом-технологом. Датасет был разделен на обучающую, валидационную и тестовую выборки в пропорции 70/15/15 с сохранением временной последовательности для избежания утечки данных.
Эффективность системы оценивалась по стандартным метрикам классификации: Accuracy, Precision, Recall и F1-score. Критически важным параметром для реального времени являлась общая задержка системы (латентность) — время от момента считывания данных с сенсоров до формирования управляющего воздействия.
3.2. Результаты и обсуждение
Предложенная гибридная модель CNN+LSTM показала на тестовой выборке точность (Accuracy) 92.1%. Глубокий анализ ошибок показал, что основная часть ложных срабатываний связана с переходными процессами в начале и конце шва, где сигналы являются естественно нестабильными. Модель продемонстрировала сбалансированную эффективность по всем классам: F1-score для класса «Поры» составил 0.93, для класса «Трещины» — 0.88.
Время отклика всей системы в среднем составило 35 мс, что существенно ниже характерного времени развития критических дефектов в WAAM (сотни миллисекунд) и подтверждает возможность работы в режиме реального времени , .
Для оценки вклада мультимодальности и временного анализа была проведена серия сравнительных экспериментов:
· Модель только на видео (CNN): Accuracy = 86.5%, высокая доля ложных срабатываний на брызги.
· Модель на многоканальных сигналах (CNN на спектрограммах): Accuracy = 83.2%, плохая детекция геометрических аномалий.
· Мультимодальная CNN без LSTM (объединение признаков усреднением): Accuracy = 89.7%.
· Предлагаемая мультимодальная CNN+LSTM: Accuracy = 92.1%.
Результаты наглядно показывают, что совместное использование разнородных данных дает прирост в точности, а добавление временного контекста через LSTM позволяет дополнительно снизить долю ложных срабатываний на 15% по сравнению с чисто пространственной мультимодальной моделью, повышая надежность системы.
Рисунок 1 - Общая архитектура системы интеллектуального мониторинга WAAM на основе гибридной модели CNN+LSTM
4. Заключение
В работе представлена разработанная и апробированная интеллектуальная система мониторинга для проволочной аддитивной наплавки. Ее ключевыми отличиями являются:
1. Комплексный мультимодальный подход, при котором совместный анализ визуальных, тепловых и сигнальных данных позволяет достичь высокой достоверности детектирования (92,1% точности).
2. Гибридная архитектура ИИ, сочетающая CNN и LSTM, что обеспечивает чувствительность как к статическим аномалиям формы, так и к динамическим отклонениям в процессе.
3. Практическая ориентированность, подтвержденная успешной интеграцией в промышленный контур управления роботом с временем отклика менее 40 мс и реализацией механизмов активной обратной связи.
Проведенные эксперименты подтвердили, что предложенная система превосходит подходы, основанные на данных одного типа, и способна функционировать в условиях, приближенных к реальному производству. Это делает ее практичным инструментом для автоматизации контроля качества и повышения надежности аддитивно-субтрактивного производства. В качестве перспектив дальнейших исследований рассматриваются адаптация системы для новых материалов (титановые сплавы, алюминий), внедрение методов непрерывного обучения (continual learning) для адаптации к износу оборудования и расширение функционала для количественной оценки размеров дефектов с помощью архитектур семантической сегментации.