1. Введение
В работе сложных современных систем требуется отслеживание большого количества показателей протекающих процессов — с целью быстрого реагирования в критических ситуациях, составления статистики и выявления закономерностей, отслеживания исправности приборов. Вручную, самими сотрудниками, получение точных показаний в любой момент времени является практически невозможным из-за большого количества приборов и датчиков, различий в их видах и расположении. На данный момент существует множество вариантов решений подобной проблемы (от механической регулировки до компьютерного зрения и нейросетей), но они узкоспециализированы: их эффективность зависит от моделей приборов, условий среды и выбранного метода распознавания, каждый из которых имеет свои ограничения по скорости и внедрению.
После анализа различных готовых решений для распознавания показаний приборов на основе нейросетей и компьютерного зрения (Viso.ai [1], Noema [2] и пр.) были сделаны следующие выводы: большая часть открытых систем распознаёт конкретные приборы, а именно, стрелочные манометры с круговой шкалой, не у всех решений есть возможность калибровки шкалы, не для всех вариантов есть возможность установить сервис, не меняя оборудование. Также большая часть из них недоступна для покупки в РФ.
Цель работы: создание модуля системы для считывания показаний с манометров (полукруглая шкала с радиально расположенной стрелкой) и ленточных регистраторов (прямоугольная шкала с линейно перемещающимся указателем (самописец)) с помощью нейронных сетей в реальном времени. Типы приборов были выбраны в соответствии с требованиями заказчика, им же был предоставлен видеоматериал для считывания показаний. Система должна упростить механизм параллельного отслеживания показаний приборов и ускорить процесс реагирования на их нестандартные изменения (отклонение от нормы).
2. Методы и принципы исследования
Архитектура спроектированной системы, в соответствии с требованиями заказчика, состоит из таких компонентов, как: сегмент видеонаблюдения, серверный сегмент, сегмент синхронизации времени (NTP), промышленные интерфейсы (IEC-104 [3], OPC UA [4]), интеграция с корпоративной шиной (Kafka), пользовательский интерфейс (Grafana). Часть, реализуемая в работе — сервер сбора (и обработки) данных с подключением к базе данных (Postgres), NTP-серверу и веб-интерфейсу Grafana [5].
Серверный сегмент включает три модели нейронных сетей типа YOLO [6], дообученных на предоставленных заказчиком, размеченных средствами Roboflow [7] и CVAT [8], датасетах. Первая модель, типа YOLO Detection, отвечает за определение класса прибора на изображении — класс манометра или ленточного регистратора. Вторая и третья, типа YOLO Pose, отвечают за нахождение ключевых точек шкал и стрелок приборов на манометрах и самописцах соответственно.
Для обучения сетей и последующей обработки полученных данных был выбран язык программирования Python [9]. В частности, фреймворк для машинного обучения PyTorch, библиотеки OpenCV, NumPy и Matplotlib. Средой для обучения сетей был выбран Google Colab (в связи с возможностью подключения к удалённым средам выполнения, таким как «Графический процессор T4» (GPU Tesla T4) и TPU v5e-1). Для дальнейшей обработки данных, с использованием уже готовых обученных сетей была выбрана среда выполнения PyCharm (Community Edition).
При подготовке датасета для первой сети в roboflow-проекте типа object detection видео было разделено на кадры, и для каждого была произведена разметка контуров циферблатов приборов. Были добавлены аугментации для повышения устойчивости сети к различным условиям и увеличения размера датасета. Сеть несколько раз дообучалась с различными параметрами.
Датасеты для второй и третьей сетей были составлены на основе результатов работы первой. Для обоих видов приборов кадры были обрезаны по выданным сетью координатам. К изображениям с классом манометров также был применён алгоритм выравнивания для борьбы с искажениями изображения из-за перспективы и наклона прибора. Кроме того, для дополнения датасета с классом самописцев были созданы синтетические данные с различными положениями стрелок (изображения стрелок были вырезаны и случайным образом помещены в пределах шкал).
Для обеих сетей поиска элементов шкал были протестированы различные виды разметки. Итоговый выбор был сделан в пользу разметки типа skeleton с ключевыми точками для модели типа yolo-pose. В случае круговой шкалы манометра были выделены ключевые точки крупных делений шкалы, центра прибора и конца стрелки, объединённые векторами от центра в единую конструкцию. В случае параллельных шкал самописца после нескольких попыток было принято решение выделить обе шкалы и две стрелки в отдельные классы, каждый из которых содержал ключевые точки (для шкал — по крупным делениям, для стрелок — по углам треугольника). Однако, по умолчанию, в yolo-pose в одном датасете не может быть классов с разным количеством точек. Эта проблема была решена путём добавления в разметку дополнительных точек для соответствия количества и применения коллбэка при обучении для корректировки весов координат нужных точек (увеличения для первых трёх точек стрелок, их вершин, и уменьшения — для остальных).
Логика обработки полученных данных основана на различных подходах из нескольких статей, адаптированных под решаемую задачу. Во многих статьях перед распознаванием шкалы и стрелки проводится выравнивание изображения по некоторым ключевым точкам. Например, в [10] находятся наибольшие деления шкалы, затем через них проводится эллипс, и трансформация состоит в том, чтобы преобразовать его в окружность, а в работе [11] для подобных целей находятся и применяются углы ограничивающего прямоугольника прибора. Так как известно, что форма корпуса прибора представляет собой окружность, которая, соответственно, вписывается в правильный многоугольник (квадрат), и приведение полученного прямоугольника к квадрату, соответственно, выровняет и окружность циферблата. Первые два метода были признаны неподходящими по следующим причинам: ключевые точки в обозначенных местах на шкале есть только у рассмотренных в статье моделей приборов и подобных им, а выравнивание по делениям шкалы перестаёт правильно работать, как только хотя бы одно из них становится видно менее чётко, чем другие. Соответственно, сеть его не распознаёт, и выстроенный по полученным точкам эллипс уже не является окружностью. Таким образом, для класса манометра был выбран способ с выравниванием по углам найденной рамки (bounding box), и приведением полученной части изображения к квадрату. В случае же самописца опытным путём было выяснено, что данный способ не подходит, поэтому выравнивание производилось на следующем этапе.
Следующий этап — распознавание делений шкалы и вычисление показаний. Для класса манометров они вычисляются соответственно алгоритму, подобному описанному в [12]. На входе, в соответствии с требованиями, имеются параметры, включающие наименование единицы измерения, а также минимальное и максимальное значения измеряемого показателя. Производится вычисление углов между полученными по точкам векторами, находятся деления, ближайшие к концу стрелки, и их значения пересчитываются в масштабе относительно всей шкалы.
Для регистраторов в первую очередь проводится валидация шкал — поиск «более ровной», с меньшим разбросом, путём вычисления дисперсии найденных координат точек на её делениях. Производится выравнивание этой шкалы по оси OX с помощью линейной интерполяции и расчёт значений в зависимости от близости концов стрелок, найденных на изображении как отдельные классы, к делениям шкалы.
3. Основные результаты
Для проверки качества полученных данных — от сети и при вычислении показаний — был проведён теоретический расчёт координат и показаний. В качестве эталонных значений были взяты координаты из разметки (точки, выделенные на изображении вручную), и было проведено сравнение их с предсказанными моделями. Для манометров относительная погрешность измерений составила 0,3%, а средняя ошибка локализации ключевых точек — менее 1 пикселя (0,98 px). Для самописцев относительная погрешность 0,023% (MAE ≈ 0,023 из 100), а ошибка локализации ключевых точек шкалы составила 0,81 px (для нижней стрелки — всего 0,17 px).
Полученная система была протестирована на синтетических видео с несколькими приборами разных классов в кадре. Также были созданы аугментации тестовых данных имитацией различных неблагоприятных внешних условий (шум, засветы, блюр), и проведено сравнение полученных результатов с изначальными. Для манометров средняя относительная ошибка практически не изменилась (0,30% против 0,31%), а доля успешных распознаваний снизилась с 100% до 88,2%. Для самописцев в тех же условиях точность ожидаемо снизилась сильнее (относительная погрешность выросла с 0,024% до 0,50%), однако даже при наличии помех система сохранила работоспособность с долей успешных чтений 91,8%. В результате для рассмотренных приборов была достигнута точность в 1–2 деления шкалы, т. е., погрешность в полградуса-градус для самописца, а также в 0,05–0,1 MPa для манометров, т. о., погрешность около 0,5–1,0 деления.
Для тестовой версии была реализована визуализация найденных точек и значений в кадре самого видео в процессе запуска (Рисунок 1), а для итоговой версии прототипа, с параллельной обработкой нескольких видеопотоков, был создан дашборд с помощью подключенной платформы мониторинга и анализа данных Grafana (Рисунок 2).
Демонстрация работы модуля на видео с помощью OpenCV
Визуализация показателей средствами Grafana
4. Обсуждение
Полученные в ходе тестирования результаты демонстрируют, что предложенный подход к распознаванию показаний приборов на основе трёх моделей YOLO обеспечивает высокую точность в штатных условиях и приемлемую робастность при наличии внешних искажений.
Сравнение с существующими решениями. В работах [10], [11] авторы добиваются сопоставимой точности для стрелочных манометров (относительная погрешность 0,3–0,5%), однако их методы сильно зависят от видимости всех ключевых делений шкалы. В нашем решении за счёт использования YOLO Pose и выравнивания по bounding box прибора удалось снизить чувствительность к частичному перекрытию или бликам: даже при потере 1–2 делений из 11 расчёт показаний сохраняется. Для самописцев аналогов с публично описанной погрешностью 0,023% в открытой литературе не обнаружено — это является достижением данной работы.
Интерпретация разницы в точности между типами приборов. Самописцы показали в 13 раз меньшую относительную погрешность (0,023% против 0,3% у манометров) в штатных условиях. Причины:
Во-первых, прямоугольная шкала и линейное перемещение указателя дают более предсказуемую геометрию.
Во-вторых, использование двух стрелок в отдельных классах позволило обучить модель более точно (ошибка для нижней стрелки — всего 0,17 пикселя). Манометры сложнее из-за радиального преобразования и перспективных искажений, даже после выравнивания.
Поведение при искажениях. Тестирование на аугментированных данных (шум, засветы, блюр) показало асимметричную чувствительность:
Манометры сохранили относительную погрешность (0,30% → 0,31%), но доля успешных распознаваний снизилась до 88,2% — в основном из-за пропуска детекции при сильных засветах.
Самописцы показали рост погрешности с 0,024% до 0,50% (в 20 раз), однако доля успешных чтений осталась высокой (91,8%). Это означает, что когда модель всё же находит шкалу, она считает показания с приемлемой точностью, но в 8% случаев теряет ключевые точки из-за деградации контраста.
Ограничения исследования. Эксперименты проводились на датасете, предоставленном заказчиком, с ограниченным разнообразиом моделей приборов (один тип манометра и один тип самописца). Не проверялось влияние вибрации камеры, резких изменений ракурса или одновременного присутствия в кадре более 6 приборов. Также не оценивалась производительность при обработке 4K-видеопотока на промышленных контроллерах (в работе использовался GPU T4 в Google Colab, что может быть избыточно для production).
Перспективы улучшения. Полученные выбросы (максимальная ошибка 0,18 МПа для манометра и 30,8°C для самописца на аугментированных данных) указывают на необходимость:
1. Добавления в обучающую выборку большего количества кадров с экстремальными искажениями.
2. Внедрения постобработки с медианной фильтрацией по времени для отсечения выбросов в видеопотоке.
3. Для самописцев — отдельной дополнительной модели верификации положения шкалы перед расчётом показаний.
Тем не менее, достигнутая точность (0,5–1,0 деления шкалы) уже соответствует и даже превышает типичную приборную погрешность, что делает систему пригодной для промышленного мониторинга.
5. Заключение
В результате выполнения данной работы полностью достигнута поставленная цель: создан модуль системы для оперативного считывания показаний с манометров (полукруглая шкала с радиальной стрелкой) и ленточных регистраторов-самописцев (прямоугольная шкала с линейным указателем) с использованием нейронных сетей в реальном времени.
5.1. Основные научные и практические результаты
Разработана архитектура из трёх последовательных моделей YOLO: первая определяет класс прибора, вторая и третья (YOLO Pose) локализуют ключевые точки шкал и стрелок. Показано, что такой конвейер обеспечивает устойчивость к перспективным искажениям и частичному перекрытию делений.
В штатных условиях эксплуатации достигнута:
1) для манометров: относительная погрешность 0,30% (MAE = 0,0048 при шкале 0–1,6 МПа), успешность распознавания 100%;
2) для самописцев: относительная погрешность 0,023% (MAE = 0,024 при шкале 0–100°C), что в 13 раз точнее, чем для манометров.
При имитации неблагоприятных условий (шум, засветы, размытие) система сохранила работоспособность:
- для манометров: погрешность 0,31%, успешность 88,2%;
- для самописцев: погрешность 0,50%, успешность 91,8%.
Полученная точность (0,5–1,0 деления шкалы) в 2–40 раз превышает цену деления самих приборов, что полностью удовлетворяет требованиям к автоматизированному мониторингу без необходимости ручной верификации каждого отсчёта.
Модуль интегрирован с базой данных PostgreSQL и системой визуализации Grafana, что позволяет встраивать его в существующие промышленные SCADA-системы через интерфейсы IEC-104 и OPC UA.
Перспективы дальнейших исследований. Описанная методика универсальна и может быть адаптирована для других типов приборов (термометры с круговой шкалой, уровнемеры) после соответствующей настройки разметки. Рекомендуется также расширить датасет за счёт съёмки в реальных цехах с вибрацией и переменным освещением, а также реализовать временную фильтрацию показаний для подавления единичных выбросов.
Таким образом, созданный модуль решает актуальную промышленную задачу автоматического распознавания показаний приборов, снижая трудозатраты персонала и обеспечивая точность, достаточную для большинства технологических процессов.