The Use of Machine Vision Technology to Improve Crane Safety
The Use of Machine Vision Technology to Improve Crane Safety
Abstract
Legislative requirements in the field of industrial safety dictate the necessity of creating and improving systems for remote monitoring of production processes and the state of technical devices at hazardous production facilities (HPF) where lifting machines are used. The aim of the research is to develop a platform "Crane safety video" and a software product implementing it, the basis of which is formed by the methodology of risk assessment of an accident at a facility using computer vision and artificial intelligence, with the risk assessment of operating hazardous objects being performed by transforming the photo/video images, linguistic criteria of technical devices state diagnostics performed by individuals, i.e. specialists, and functional indicator parameters locally. The tasks, solved in the article, were the analysis of accidents at load-lifting cranes usage and the implementation of machine learning procedure, which will be the basis for the software product creation. The main result of the proposed product – "Crane safety video" platform – is a reduction of accidents and injuries during exploitation of a hazardous facility, which is a consequence of the increase in reliability of the parameters of direct control of the facility, the possibility of remote monitoring to develop further recommendations in the implementation of preventive solutions, as well as effective in terms of economic feasibility by reducing the number of inspectors of the supervisory body and the costs of their maintenance, which, among other things, is relevant in the context of the realization of a risk-oriented approach.
1. Введение
Современный уровень промышленной безопасности имеет устойчивый вектор на цифровизацию и возможность применения различных средств дистанционного мониторинга действительного состояния технических устройств и производственных процессов на опасных производственных объектах, в том числе, эксплуатирующих грузоподъемные краны. Внедрение государственного мониторинга в области промышленной безопасности, основой которого является автоматизированный сбор, фиксация, обобщение, систематизация и оценка информации, обработанной посредством систем дистанционного контроля опасных производственных объектов рассматривается на государственном уровне, вносятся соответствующие поправки в законодательство о промышленной безопасности . Внедрение модели государственного регулирования в области промышленной безопасности на базе методов риск-ориентированного подхода с течением времени показывает ощутимые преимущества, что в свою очередь, инициирует новые подходы и требования не только к системам безопасности объектов, но и в части принятии решений при риск-ориентированном подходе.
Меры по контролю и надзору за эксплуатирующими ОПО организациями значительно совершенствуются. Однако аварийность и травматизм по-прежнему остаются на высоком уровне, даже с учетом положительной динамики. По-прежнему, в большинстве случаев причинами большинства произошедших случаев аварий и травмирований на ОПО, эксплуатирующих грузоподъемные краны, является человеческий фактор .
Согласно официальной статистике за 2020 год, на предприятиях и организациях Российской Федерации, эксплуатируется порядка 600 тысяч подъёмных механизмов, из них 207550 – грузоподъёмные краны. В 2020 году произошло 35 аварий при эксплуатации подъемных сооружений, 28 несчастных случаев, случаев тяжелого травмирования – 21.
Как свидетельствуют данные – наибольшее количество аварий в 2020 году, как и в 2015–2019 годах, произошло при эксплуатации башенных кранов. Распределение аварий грузоподъемных кранов в 2019-2022 годах указывает на следующие значения:
- при эксплуатации башенных кранов в 2019 году произошло 11 аварий, в 2020 году – 12 аварий,
- при эксплуатации автомобильных кранов в 2019 году произошло 5 аварий, в 2020 году – 4 аварии,
- при эксплуатации мостовых кранов в 2019 году произошло 0 аварий, в 2020 году – 1 авария,
- при эксплуатации козловы кранов в 2019 году произошло 5 аварий, в 2020 году – 1 авария,
- при эксплуатации гусеничных кранов в 2019 году произошло 6 аварий, в 2020 году – 4 аварии,
- при эксплуатации кранов-манипуляторов в 2019 году произошло 6 аварий, в 2020 году – 2 аварии.
Так, ситуация с аварийностью башенных кранов стабильно негативная. Можно утверждать, что объекты эксплуатации башенных кранов относятся к категории наиболее опасных объектов – на них приходится около 30% аварий и 25% несчастных случаев со смертельным исходом. Согласно официальной статистике распределение случаев смертельного травматизма при эксплуатации грузоподъемных кранов в 2019-2020 года:
- при эксплуатации башенных кранов в 2019 году произошло 8 травмирований, в 2020 году – 7 травмирований,
- при эксплуатации автомобильных кранов в 2019 году произошло 7 травмирований, в 2020 году – 5 травмирований,
- при эксплуатации мостовых кранов в 2019 году произошло 5 травмирований, в 2020 году – 2 травмирования,
- при эксплуатации козловы кранов в 2019 году произошло 1 травмирование, в 2020 году – 1 травмирование,
- при эксплуатации гусеничных кранов в 2019 году произошло 3 травмирования, в 2020 году – 2 травмирования,
- при эксплуатации кранов-манипуляторов в 2019 году произошло 1 травмирование, в 2020 году – 3 травмирования.
Состояние данного вопроса инициировало внесение изменений в законодательство о промышленной безопасности относительно повышения класса опасности именно для ОПО, эксплуатирующих башенные краны, что, в числе прочего, повлекло бы обязательность проведения периодических проверок со стороны надзорных органов. Однако, в настоящее время, по разным причинам, вышеуказанные поправки не внесены в действующее законодательство о промышленной безопасности.
Одной из важных задач в настоящий момент является совершенствование методов мониторинга и контроля состояния всех циклов производственной сферы, где задействованы сложные технические системы, используется труд человека, работы ведутся в сложных условиях. Это важно не только с точки зрения сокращения количества аварий и травмирований, но и оптимизации контрольных функций надзорных органов в условиях риск-ориентированного подхода, что требует разработки и применения цифровых технологий при определении опасности и риска возникновения неблагоприятного события.
Целью исследования является разработка Платформы «Crane safety video» и реализующего её программного продукта, основа которого базируется на методике оценивания риска аварии на объекте, с использованием компьютерного зрения и искусственного интеллекта, при том, что оценка риска при эксплуатации опасных объектов осуществляется посредством преобразования фото-/видео-образов, лингвистических критериев диагностики технического состояния устройств, осуществляемых физическими лицами, то есть специалистами, и функциональных индикаторных параметров локальной системы безопасности, полученных от приборов и устройств, которыми оснащен объект, с последующей обработкой результатов методами искусственного интеллекта.
2. Методы и принципы исследования
В настоящее время информационные технологии, используемые для рекомендательных систем находят приоритетное место в реализации риск-ориентированного подхода. Наиболее актуальны программные продукты, позволяющие в режиме реального времени фиксировать фото-/видео-, функциональную и лингвистическую информации о действительном состоянии производственных процессов и состоянии технических устройств, эксплуатируемых на опасных производственных объектах, способные обучаться на основе анализа данных о случившихся неблагоприятных событиях на аналогичных объектах, а также прогнозировать риски наступления возможных аварий, а также дающие возможность прогнозировать и оценивать риски развития аварий.
Использование программных продуктов, обладающих перечисленными выше характеристиками позволит, в том числе, надзорным органам разрабатывать меры своевременного реагирования по обеспечению безопасной эксплуатации объектов, что будет служить основой рекомендаций эксплуатирующим организациям и определения дальнейших действий надзорных органов в отношении объектов с критическим уровнем безопасности.
Повышение безопасности при эксплуатации объектов, эксплуатирующих грузоподъемные механизмы, может быть достигнуто за счет использования цифровых информационных технологий, искусственного интеллекта, в совокупности использования последних технических решений и возможностей таких как видео/фото фиксация действий оператора, с выводом параметров эксплуатации в мобильные приложения, доступные для руководящих специалистов, обслуживающего персонала и специалистов надзорных органов.
Дистанционный мониторинг за опасными производственными объектами, в том числе, эксплуатирующими грузоподъемные механизмы – тема актуальная в научной среде, профессиональных сообществах различных отраслей . Основой программных продуктов , как правило, являются базы данных, пополняемые посредством получения информации о состоянии тех или иных параметров и устройств.
Реализация риск-ориентированного подхода при осуществлении контрольных и надзорных функций в отношении конкретных объектов со стороны соответствующих надзорных органов основана на целенаправленном влиянии на объекты надзора, чему предшествует тщательный анализ параметров состояния всех составляющих данного объекта . Должно быть оценено состояние технических устройств, зданий и сооружений, произведена оценка риска аварии и инцидента, в том числе в соответствии со значимостью последствий указанных событий для жизни и здоровья людей. Таким образом, надзорные органы получают полную информацию об объекте в режиме реального времени, что даст возможность оперативно принять решение о необходимости проверки и контроля конкретного объекта.
IT-продукты, предназначенные для реализации риск-ориентированного подхода, разрабатываются на основе цифровых информационно-технологических систем, в том числе искусственного интеллекта, при этом могут использоваться видеомониторы у операторов, мобильные приложения к персональным мобильным устройствам руководящего состава, инженерно-технических специалистов, обслуживающего персонала и специалистов надзорного органа.
Платформа «Crane safety video» и реализующий её программный продукт является актуальным техническим решением по повышению уровня производственной безопасности и охраны труда персонала при эксплуатации грузоподъемных механизмов в сложной окружающей среде на основе компьютерного зрения и искусственного интеллекта, в том числе при риск-ориентированном подходе для поддержки принятия и верификации решений надзорных органов, что по совокупности функций не имеет аналогов.
Предлагаемое решение заключается в построении логико-лингвистической модели оценивания риска аварии, основанной на принципах компьютерного зрения и искусственного интеллекта. Научная новизна предлагаемого метода заключается в том, что принятие решения по оценке риска при эксплуатации опасных объектов, производится на основании уникального алгоритма комбинаторного преобразования фото-/видео-образов, лингвистических критериев диагностики технического состояния, осуществляемых специалистами – физическими лицами, и функциональных индикаторных параметров локальной системы безопасности, получаемых от приборов и устройств, которыми оснащено техническое устройство и объект, с последующей обработкой результатов методами искусственного интеллекта.
Сущностью решаемой проблемы является повышение безопасности эксплуатации опасных объектов при возможности непосредственного управления или (и) дистанционного контроля за их эксплуатацией, посредством использования цифровых информационно-технологических систем, в том числе искусственного интеллекта.
3. Основные результаты
Принятие решения по оценке риска при эксплуатации опасных объектов, производится на основании алгоритма комбинаторного преобразования фото-/видео- образов, лингвистических критериев диагностики технического состояния, осуществляемых специалистами – физическими лицами, и функциональных индикаторных параметров локальной системы безопасности, получаемых от приборов, которыми оснащен объект, с последующей обработкой результатов методами искусственного интеллекта.
Оценки по шкалам лингвистических критериев являются нечеткими подмножествами некоторых базовых множеств. Лингвистические критерии могут быть с измеримой базовой переменной (числовые) и с неизмеримой базовой переменной (ординальные). Вводимые в цифровую платформу лингвистические критерии и функциональные параметры в общем случае образуют неструктурированное или слабо структурированное нечеткое множество показателей - критериев оценки состояния объекта. При этом значения критериев на элементах некоторого конечного множества А опасных объектов образуют матрицу оценок:
где xij = kj(ai) – оценка технического состояния объекта ai по шкале kj; n – число объектов в множестве А = {a1, a2, …, an}, m – число лингвистических и функциональных критериев (шкал оценок) в множестве K = {k1, k2, …, km}, образующем критериальное пространство , объекты внутри которого отображаются в виде множества точек .
В случае несуществующих физических шкал для ординальных лингвистических критериев с неизмеримыми базовыми переменными используются некоторые базовые терм-множества T = {Ti}, которые, в свою очередь, состоят из нескольких термов.
В качестве примера ординального лингвистического критерия можно привести, например, критерий «КАЧЕСТВО» с термами: «хорошее», «соответствует», «недостаточное», «плохое».
Согласно , если исходное критериальное пространство содержит лингвистические переменные (в том числе ординальные), то интегральный показатель, характеризующий риск возникновения аварии, формируемый в результате преобразований, в общем случае также будет составной ординальной лингвистической переменной L. Иерархическая структура такой переменной может формироваться рекуррентно начиная с «низших» уровней, на которых располагаются переменные, определяемые первоначальной лингвистической и функциональной информацией об объекте.
Для установления количественного соответствия между признаком объекта (ординальной лингвистической переменной L) и свойством S, степень наличия которого у объекта может быть размытая (неопределенная), необходимо «уравнение назначения возможности». Свойство S в данном случае представляет собой техническое состояние объекта, определяющее безопасность его эксплуатации. Неопределенность наличия данного свойства у объекта здесь носит по своей природе не вероятностный, а «возможностный» характер. Уравнения назначения возможности для лингвистических переменных строятся на основе следующего общего принципа.
Общее высказывание Р, определяющее лингвистическую переменную L, записывается в виде:
L есть G,
где L – m-арная переменная в критериальном пространстве , (m - количество критериев, входящих в лингвистическую переменную L, соответствующую общему понятию риска возникновения аварии при эксплуатации объекта);
G – нечеткое отношение в базовом пространстве X = X1 ... Xm между подмножествами Si (i = 1, ..., m), описывающими отдельные свойства, определяющее техническое состояние объекта.
Тогда распределение возможностей, связанное с m-арной переменной L, будет определяться уравнением назначения возможностей:
ПL = G,
здесь ПL - распределение возможностей, связанное с лингвистической переменной L.
Это уравнение можно понимать как формализованное выражение сложного лингвистического понятия, каким является понятие риска возникновения аварии при эксплуатации объекта.
Метод решения уравнения назначения возможностей базируется на проблематике назначения числовых оценок для субъективных свойств. Решение данной проблемы возможно посредством построения функций принадлежности объекта к нечеткому множеству .
Используется аксиоматическая структура, применяемая в работе для фундаментального измерения нечеткости, в рамках введения в модель оценивания риска функций принадлежности.
Результирующие значения функции принадлежности ограничены:
- снизу, числом, приписанным объекту аmin или классу эквивалентности этого объекта [amin];
- сверху значением, присвоенным объекту аmax или его классу эквивалентности [аmax] .
где:
аmax – объект, функция принадлежности которого свидетельствуют о том, что он определенно обладает свойством S;
аmin – объект, который, определенно, не обладает свойством S.
Область А с физическим носителем Х(А) разбивается свойством S на три подобласти - I0, I1 и F.
При этом «области безразличия» I0 и I1 образованы объектами в классах эквивалентности [amin] и [аmax] соответственно. А для «нечеткой области» F функция принадлежности строится посредством формального задания, учитывая свойства безопасности конкретных объектов.
Таким образом, для ординальной лингвистической переменной «РИСК АВАРИИ» можно использовать три элементарных терма соответствующих подобластям I0, I1 и F, которые представляются в виде шкалы индикаторов цветовой панели (см. Таблицу 1)
Высокий уровень риска, представленный в цветовой гамме, не нуждается в пояснении – он понятен для всех участников – руководства эксплуатирующей организации, обслуживающего и ремонтного персонала, а также специалистов надзорных органов. В таблице каждому значению индикатора риска соответствует терма лингвистической переменной оценки риска аварии на объекте.
В качестве индикаторов риска используются значения универсальной переменной u, вводимой при задании элементарных термов в соответствие со следующими требованиями :
1. Каждый терм описывается нечетким подмножеством множества значений универсальной переменной u из интервала (0, 1).
2. Объединение всех элементов терм-множества покрывает полностью множество значений базовой переменной Х(А) и соответствующего интервала (0, 1) универсальной переменной u.
3. Функции принадлежности элементарных термов строятся в шкале интервалов с использованием (L-R)-аппроксимации или другими методами .
Таблица 1 - Определение принадлежности объекта к одному из основных нечетких множеств по значениям индикаторов риска
Термы лингвистической переменной оценки риска аварии на объекте | Индикаторы риска | |
Уровень приемлемого риска – эксплуатация объекта разрешена в обычном режиме | Зеленый цвет | u ≤ umin аi ³s [аmax] зеленый цвет |
Повышенный уровень риска – эксплуатация объекта разрешена при усиленном контроле | Желтый цвет | umax < u < umin [аmax] >s аi >s [аmin] желтый цвет |
Высокий уровень риска – эксплуатация не рекомендуется (как исключение, возможно выполнение единичных операций при строгом контроле) | Красный цвет | u > umin аi ≤s [аmin] красный цвет |
С учетом этих требований функции принадлежности терм-множеств, описывающих свойство безопасности эксплуатации объектов, определим функцией следующего вида:
Если индикатор риска u равен 0, то риск отсутствует и эксплуатация объекта абсолютно безопасна. Если индикатор риска u равен 1, то риск максимальный и эксплуатация объекта должна быть прекращена.
Показатель степени γ определяет слабый порядок на интервала aiaj в области А и устанавливает характер изменения функции принадлежности при возрастании индикатора риска. Если γ > 1, то одинаковые по величине отклонения индикатора риска приводят к большему приросту функции принадлежности mD в области, близкой к нулю, чем в области, близкой к единице.
Ключевым моментом определения функции принадлежности является преобразование базовых переменных Х(А) в универсальную переменную u, определенную на интервале [0, 1] и определение значений индикатора риска umax и umin, устанавливающих принадлежность объекта к одному из трех определенных в табл. термов.
Заявленные функции логико-лингвистической модели оценивания риска аварии при эксплуатации опасных объектов предлагается реализовать с применением разработанных технологий, на базе нейронных сетей .
Применительно к объектам эксплуатации грузоподъемных машин использование технологии искусственного интеллекта дает возможность осуществлять машинное обучение, а также вносить изменения в алгоритм расчета риска аварии, основываясь на данных об аналогичных событиях и причинах их спровоцировавших.
Процедуру машинного обучения предлагается реализовывать в два этапа.
Первый этап – используя данные фото/видео «образов» нарушений, полученных от приборов, которыми оснащены объекты, эксплуатирующие грузоподъемные механизмы производится обучение искусственной нейронной сети посредством технологии обработки больших баз данных (Big Data).
Второй этап – посредством семантической обработки данных, поступающих от фото/видео «образов», работников из числа персонала и специалистов в форме сообщений, формируются лингвистические критерии оценки состояния объекта эксплуатации грузоподъемного механизма с учетом принципа достаточности.
На первом этапе необходимо решение четырех задач.
Первая задача – обучение нейронной сети на фото-/видео- «образах» нарушений, установленных в процессе эксплуатации грузоподъемных механизмов, в том числе с фиксацией отклонений от требований проектной документации.
Рисунок 1 - Границы зон при работе башенных кранов:
1 - ограждение строительной площадки; 2 - граница опасной зоны вблизи строящегося здания; 3 - граница зоны, опасной для нахождения людей во время перемещения, установки и закрепления элементов и конструкций*; 4 - граница зоны обслуживания краном; 5 - башенный кран; 6 - санитарно-бытовые помещения
Рисунок 2 - Описание процесса обучения нейронной сети на исторических данных
Таким образом, может быть сформирована нижняя х0 и верхняя х1 границы на непрерывном носителе Х(А), определяющие область F изменения функции принадлежности.
Обучение нейронной сети основано на методе обратного распространения «ошибки» между историческими данными и данными с аварийных объектов. При этом в нейронной сети формируется многозначная структура принадлежности объекта к одному из трех нечетких множеств (аi ³s [аmax] для зеленой зоны, [аmax] >s аi >s [аmin] для желтой зоны и аi ≤s [аmin] для красной зона). Одновременно определяются значения индикаторов риска umax и umin.
Третья задача – проверка адекватного функционирования нейронной сети.
На ее вход подаются данные плановых (оптимальных для попадания в зеленую зону) показателей приборов для заданного типа контролируемого параметра (нагрузки, перемещения) сформированные на основании исторических данных. На выходе будет получена прогнозная величина индикатора риска при заданных условиях эксплуатации грузоподъемного механизма, которая должна попадать в зеленую зону, т.е. u ≤ umin.
Рисунок 3 - Описание процесса прогнозирования риска при заданных показателях
Рисунок 4 - Описание технологии распознавания условий эксплуатации и типов заданий, выполняемых объектами
Следует отметить, что знания, умения и навыки, то есть человеческий интеллект, при лингвистической диагностике технического состояния грузоподъемных механизмов в данной системе играют ведущую роль, поскольку охватить приборными методами контроля все диагностические параметры, характеризующие безопасность при эксплуатации грузоподъемных механизмов практически невозможно, а также он позволяет актуализировать данные с учетом постоянно поступающей информации о причинах аварии на аналогичных объектах и изменениях в нормативно-правовой документации в режиме реального времени.
Сочетание лингвистической и приборной диагностики технического состояния грузоподъемного механизма значительно повышает точность диагностических выводов в отношении оценки состояния и оценки риска возникновения аварии за счет сокращения степени неопределенности, что объясняется взаимным влиянием друг на друга всех диагностических параметров на этапе машинного обучения с использованием нейронных сетей.
Для реализации машинного обучения необходимо на начальном этапе участие технического специалиста, именно он может корректировать как алгоритм оценки риска возникновения аварии, так и чек-листы, сформированные на основе визуальных образов в мобильных приложениях. В дальнейшем, система «научится» самостоятельно вносить изменения в шаблоны чек-листов, получая новые диагностические параметры. Технологии рекомендательных систем позволяют формировать лингвистические критерии и чек-листы, соответствующие им.
Следует отметить ограниченность структуры сбора данных на естественном языке ограничена. Требуется – конкретность (четкость) ответов работника, на вопросы, сформированные в чек-листе, также появляется возможность давать количественную оценку типовым нечисловым, неточным ответам как «примерно», «чуть-чуть», «немного», «недавно», «давно».
Для формирования вопросов в чек-листах обязательно применяются требования действующих нормативных правовых актов, Федеральных норм и правил в области промышленной безопасности, данные и рекомендации по эксплуатации заводов-изготовителей технических устройств, а также учитываются условия конкретной производственной среды, где осуществляется эксплуатация.
Вопросы чек-листов для объектов эксплуатации грузоподъемных механизмов могут быть как общими, например: «Каков срок эксплуатации оборудования?», «Дата проведения последней экспертизы промышленной безопасности объекта?», «Наличие/отсутствие страховки?», «Сроки проведения последнего ТО?», «Производитель работ», так и специальными для конкретного грузоподъемного механизма, например: «Оценка выработки поверхности реборды от первоначальной толщины?», «Оценка выработки поверхности катания колеса?», «Наличие трещин любых размеров на барабанах?», «Наличие износа ручья барабана по профилю?», «Наличие любых трещин в сварных швах и основном металле?» и прочее.
При обучении искусственной нейронной сети на данном этапе происходит распознавание ответов с использованием технологии Natural Language Processing (NLP)
и многокластерная категоризация их содержания. При этом формируется множество соответствующих лингвистических критериев в критериальном пространствеМашинное обучение даст возможность получать не только прогноз наступления предельных значений параметров и событий во времени, но и корректироваться при каждой операции диагностирования в дальнейшем.
Предлагаемый подход реализуется в любых условиях эксплуатации грузоподъемных механизмов за счет глубокого машинного обучения с применением фото/видео аналитики и адаптации системы мониторинга безопасности, где используются современные алгоритмы на базе нейронных сетей.
Взаимодействие программной и аппаратной частей предлагаемой рекомендательной системы безопасности для риск-ориентированного подхода при эксплуатации грузоподъемных механизмов, использующих дистанционный контроль (мониторинг) и цифровые информационно-технологические системы, функционирующие посредством мобильных приложений возможно применять для объектов, эксплуатирующих иные технические устройства, как схематично изображено на рисунке 5.
Рисунок 5 - Схема взаимодействия программной и аппаратной частей рекомендательной системы безопасности:
1 – опасный объект и площадка, где эксплуатируется этот объект (например, башенный кран); 2 – терминал (модуль согласования); 3 – локальная система безопасности; 4 – база данных; 5 – Центральный сервер; 6 - облачное пространство сети Интернет; 7 – веб-сайт; 8 – должностные инструкции руководящих работников; 9 – должностные инструкции инженерно-технических работников; 10 – производственные инструкции обслуживающего персонала; 11 – программное Web приложение «Crane safety video»; 12 – мобильные устройства обслуживающего персонала; 13 – мобильные устройства руководителя (главного инженера); 14 – мобильные устройства инженерно-технических работников; 15 – результаты оценки риска в цветовой гамме; 16 – электронный ключ блокировки; 17 – камера видеонаблюдения; 18 – информационное табло; 19 – надзорный орган (например, Ростехнадзор)
4. Заключение
Основным результатом использования предлагаемого продукта – Платформы «Crane safety video» является снижение аварийности и травматизма при эксплуатации опасного производственного объекта, что является следствием увеличения достоверности параметров непосредственного управления объектом, а также возможности дистанционного контроля для разработки дальнейших рекомендаций в рамках принятия предупредительных решений. Использование платформы «Crane safety video» также может быть эффективно с точки зрения экономической целесообразности за счет сокращения численности инспекторского состава надзорного органа и расходов на их содержание.