TRANSFER ALGORITHM FOR COMBINING TRAINED AND RETRAINED NEURAL NETWORK ARCHITECTURE FOR THE TASK OF NON-DESTRUCTIVE OF METALLURGICAL PRODUCTION

Современная промышленность, особенно металлургическая отрасль, сталкивается с необходимостью обеспечения высокого уровня качества выпускаемой продукции. Дефекты материалов могут привести к серьезным последствиям, таким как аварии, утрата имущества и даже человеческие жертвы, поэтому контроль качества и выявление дефектов являются критически важными этапами производственного процесса. Традиционно для этих целей используются различные методы дефектоскопии, такие как рентгенография, ультразвуковые и магнитопорошковые методы. Однако эти методы обладают рядом ограничений, включая высокую стоимость оборудования, необходимость высококвалифицированных специалистов и низкую скорость обработки больших объемов продукции. Современные технологии машинного обучения открывают новые перспективы для автоматизации процессов дефектоскопии. Нейронные сети демонстрируют высокую эффективность в решении задач распознавания образов и классификации, но создание новой модели с нуля требует значительных временных и вычислительных затрат. Трансферное обучение

Целью настоящего исследования является разработка эффективного трансферного алгоритма комбинирования обученной и дообученной архитектур нейронных сетей для задачи дефектоскопии в металлургическом производстве. Данный алгоритм должен обеспечить высокую точность обнаружения дефектов при минимальных затратах времени и ресурсов на обучение и адаптацию моделей. Для достижения этой цели были определены следующие задачи: проведение обзора современных методов дефектоскопии и технологий машинного обучения, определение оптимальной архитектуры нейронной сети для предобучения, разработка алгоритма дообучения и методика комбинирования предсказаний от различных моделей.

Актуальность темы. Дефектоскопия в металлургической промышленности играет ключевую роль в обеспечении безопасности и надежности производимой продукции. Традиционные методы контроля качества, такие как рентгенография, ультразвуковая диагностика и магнитопорошковый метод, имеют свои ограничения, включая высокую стоимость оборудования, необходимость квалифицированного персонала и ограниченную скорость обработки больших объемов продукции. Современные технологии машинного обучения предлагают новые возможности для автоматизации процессов дефектоскопии, однако существующие подходы часто требуют значительных ресурсов для создания новых моделей с нуля для каждой конкретной задачи. В этой связи актуальным становится использование трансферного обучения, которое позволяет эффективно применять уже обученные модели для решения новых задач путем дообучения на специализированных данных. Комбинирование нескольких моделей, каждая из которых специализируется на разных аспектах задачи, может значительно повысить точность и надежность выявления дефектов. Разработка и внедрение таких комбинированных подходов могут существенно улучшить качество контроля в металлургическом производстве, снизить затраты и ускорить процессы диагностики.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести обзор современных методов дефектоскопии и технологий машинного обучения, применяемых в этой области.

2. Определить наиболее подходящую архитектуру нейронной сети для базового предобучения.

3. Разработать эффективный алгоритм дообучения предобученной модели на данных, специфичных для задачи дефектоскопии.

4. Разработать методику комбинирования предсказаний от обученной и дообученной моделей для улучшения общей точности обнаружения дефектов.

5. Провести экспериментальную проверку предложенного алгоритма на реальных данных и сравнить его эффективность с традиционными методами и другими современными подходами.

6. Проанализировать ошибки и выявить возможные пути улучшения предложенного алгоритма.

Математическое представление классификации дефектов изделий металлопроката с использованием обученной сети RESNET50

Алгоритм включает глубокое обучение и нечеткую логику для классификации дефектов, разделения фона и маркировки изделий. RESNET50 используется для извлечения признаков, а нечеткий слой — для обработки неопределенности в изображениях (переходные зоны между дефектом и фоном).

Извлечение признаков формируется через среднее и стандартное отклонение набора данных:

где  — среднее и стандартное отклонение набора данных.  должно быть размером 224*224*3.

Тогда сверточный слой примет следующий вид:

Остаточные блоки:

Тензор признаков становится 

Формирование нечеткого слоя осуществляется для обработки неопределённости между фоном и дефектом и состоит из трех шагов:

1. Глобальный средний пуллинг:

2. Нечеткие функции принадлежности для класса  включая фон задается , которая будет определять степень соответствия признаков треугольному распределению с параметрами . Это упрощает вычисления и делает модель более интерпретируемой.

где a — левая граница (начало треугольника), b — вершина треугольника (максимум функция), c — правая граница (конец треугольника).

3. Нормализация нечетких оценок:

где K — число классов включая фон.

Этот подход позволяет более гибко настраивать зоны неопределенности между дефектами и фоном, что особенно полезно для задач классификации металлопроката с нечеткими границами дефектов, используя градиентно-взвешенную активационную карту (Grad-CAM)

Далее вычисляется взвешенная сумма активаций:

Нормализация тепловой карты  приводится к диапазону [0,1].

Выделение областей дефекта на основе Grad-CAM:

где ak — веса важности каналов.

Следовательно, бинарная маска рассчитывается:

где  — порог задаваемы на основе нечеткой уверенности (при исследование установлен 0,35).

Функция потерь для обучения сформируется следующим образом:

где  – кросс энтропия,  — регуляризация для классификации,  — гиперпараметр.

Адаптация нечеткого слоя происходит через EMA (Exponential Moving Average)

где  — текущее значение параметра на шаге ,  — EMA-версия параметра после шага ,   — коэффициент сглаживания.

Границы функций принадлежности обновляются следующим образом:

Нечеткий слой обрабатывает размытые границы между дефектом и фоном. Оценка pc показывает степень уверенности модели, Grad-CAM визуализирует локализацию дефекта. Такой подход предобученной модели позволяет улучшить классификацию дефектов металлопроката, особенно когда граница между дефектом и фоном размыта.

Предлагаемая модификация переформулирует стандартную архитектуру через математическую модель нечеткой логики для моделирования поверхностного дефекта или маркировки металлургических изделий и кусочно-постоянной функции для фона.

Входной слой. Входное изображение представляется следующим образом: первая часть не

где:  — функция принадлежности дефекта к нечеткому множеству,  — интенсивность дефектов в точке ,  — константа - той области фона  — индикаторная функция (1 внутри , 0 иначе).

Сверточный слой представляет две свертки (нечеткая логика и кусочно-постоянный пулинг).

Для ядра  и входа I:

где  — функция активации Swish, усиливающая нечеткие границы.

Кусочно-постоянный пулинг.

где K — локальная область соединяет признаки разного масштаба, учитывая нечеткость дефектов.

Кусочно=линейная интерполяция фона определяется как:

Проектирование нечетких ограничивающих рамок для предсказания. Координаты центра  моделируются как треугольные нечеткие числа:

где  — центр, w — ширина области неопределенности.

Классификация дефекта.

Вероятность класса pc заменяется на степень принадлежности:

где  — признаки класса .

Функция потерь с регуляризацией фона.

где:   — стандартная потеря YOLO при классификации,  — дисперсия интенсивности фона в области ,  — коэффициент регуляризации, задающий гладкость фона.

Методика «Двухэтапное обучение» формируется из трансферного обучения и тонкой настройки:

- загрузка весов предобученной модели EfficientNet-B3;

- инициализация нечеткого сверточного слоя, где  инициализируется равномерно;

- обучение только верхних слоев на гибридных данных;

- происходит оптимизация , а снижение веса=0,01

- функция потерь рассчитывается как: , где  — бинарная маска дефекта.

- разморозка всех слоев;

- оптимизатор , импульс 0,9;

- регуляризация: выпадение (p = 0,3) перед классификатором, штраф за вариативность фона: .

Гибридное представление данных снижает шумы фона, нечеткие признаки улучшают детектирование частичных дефектов, а регуляризация фона предотвращает переобучение модели.

1. Подготовка, сбор и аннотация данных:

Для YOLOv10

2. Предобработка заключается в нормализации и аугментации, где изображения приводятся к стандартным размерам: YOLOv10 - 640×640, ResNet50 — 224×224, применяются повороты, отражения, изменение яркости/контраста, добавление шума.

3. Разделение данных: обучающая выбор — 70%, валидационная — 15% и тестовая — 15%.

4. Обучение ResNet50 с нечетким слоем: происходит модификация архитектуры и заменяется последний полносвязный слой ResNet50 на нечеткий классификатор с заморозкой всех слоев ResNet50, кроме последнего блока и нечеткого слоя.

5. EMA – обновление: после каждого шага оптимизации вызывается функция обновления сглаживания параметров модели.

6. Интеграция YOLOv10 и ResNet50:

Шаг 1: YOLOv10 детектирует дефекты и возвращает ограничивающие рамки.

Шаг 2: для каждой рамки извлекается область изображения и приводится к размеру 224×224, затем пропускается через ResNet50 для классификации.

Шаг 3: объединяются результаты:

7. Оптимизация используется TensorRT

8. Валидация и тестирование вычисляют параметры достоверности для YOLOv10 — mAP@0.5, Recall, Precision и ResNet50 – Accuracy, F1-score, а общие параметры – IoU детекций и точность классификации.

9. Интерпретация и оценка визуализируют тепловые карты Grad-CAM для анализа важных областей, затем проверяется устойчивость к шуму и размытым границам дефектов.

10. Развертывание и экспорт моделей для YOLOv10 в ONNX

11. Интеграция в производство реализуются REST API

Трансферный алгоритм комбинирования обученной и дообученной архитектуры нейронных сетей (рисунок 1) показывает взаимодействие архитектур разработанной методики и совмещение математического аппарата.

Рисунок 1 - Трансферный алгоритм комбинирования обученной и дообученной архитектуры детектирования дефектов металлургических изделий

DOI:10.60797/IRJ.2025.156.60.1

Выбирается базовая архитектура, в которой все сверточные слои остаются замороженными для сохранения способности извлекать общие признаки дефектов, а исходные полносвязные слои удаляются. Добавленные новые слои адаптированы для детекции и веса инициализируются случайным образом. После прохода каждой эпохи вычисляется точность на валидационном наборе данных. Если точность больше 91% — обучение завершено, меньше — активируется цикл дообучения, размораживаются сверточные слои базовой модели и происходит перенастройка гиперпараметров.

В тестировании участвовал набор данных изделий металлургического производства, состоящий из 37000 изображений. На графиках представлены фрагменты процесса обучения нейронной сетью YOLOv10 и разработанным трансферным алгоритмом.

Рисунок 2 - Процесс обучения с использованием модели YOLOv10

DOI:10.60797/IRJ.2025.156.60.2

Рисунок 3 - Показатели качества, полученные моделью YOLOv10

DOI:10.60797/IRJ.2025.156.60.3

Рисунок 4 - Тестирование детекции после обучения: а) ограничивающие рамки накладываются друг на друга, б) множества мнимых срабатываний интересующей области

DOI:10.60797/IRJ.2025.156.60.4

Рисунок 5 - Процесс обучения разработанного трансферного алгоритма

DOI:10.60797/IRJ.2025.156.60.5

Рисунок 6 - Показатели качества полученные трансферным алгоритмом

DOI:10.60797/IRJ.2025.156.60.6

Рисунок 7 - Тестирование детекции после обучения:

а) ограничивающие рамки не выдают ложных срабатываний, б) точность срабатывания ограничивающих рамок более 84%

DOI:10.60797/IRJ.2025.156.60.7

Процесс обучения YOLOv10 (рисунок 2) показал невысокие показатели качества, полученные на исследуемом наборе данных изделий металлопроката. Причинами этого стала высокая составляющая сигнал-шум на изображениях и ложные всплески, как показано на рисунке 4. Модель пытается сдетектировать область, которая обучалась ранее как дефект на валидационном наборе.

Разработанный алгоритм апробирован также на данном наборе данных (рисунок 5). Графики показывают, что качество детектирования увеличилось на 20% от классической модели, а ограничивающие рамки четко выделяю результирующую область дефекта (рисунок 7) даже на тестовой выборке. Это дает гарантию, что ложное срабатывание будет минимально (<5%) во всех исследуемых данных в режиме реального времени.

Нечеткая логика позволила смоделировать степень частичного дефекта, а кусочно-постоянный фон снизил ложные срабатывания на изображениях. Для обучения требуется совместная оптимизация параметров сети, функций  и областей . Измененная архитектура YOLOv10 состоит из нечеткого слоя свертки.

Разработанная методика позволила достичь точности более 92% на тестовых данных металлургических дефектов, что на 15% выше классической архитектуры YOLOv10. Комбинация трансферного обучения и адаптивных архитектур с интеграцией нечеткой логики для детектирования дефектов и кусочно-постоянного фона снизила уровень ложных срабатываний на изображениях в 20%.

Описанный алгоритм подходит для задач применения машинного зрения, где критична высокая точность обнаружения поверхностных дефектов изделий металлопроката.

Предложенный подход демонстрирует, что комбинация трансферного обучения, нечеткой логики и CPU — оптимизация позволяет создать эффективное решение для промышленной дефектоскопии. Результаты исследования открывают путь к внедрению AI-инструментов в металлургическую отрасль, снижая затраты на контроль качества и минимизируя брак.