THE APPLICATION OF SEMANTIC SEGMENTATION OF VIDEO STREAMS FOR FOREST FIRE MONITORING: METHODOLOGY, ARCHITECTURE AND PROSPECTS FOR THE IMPLEMENTATION OF DINOV2

Лесные пожары остаются одной из наиболее серьёзных экологических угроз в Российской Федерации, усугубляемой глобальными климатическими изменениями, повышением среднегодовой температуры и ростом числа тепловых аномалий. Эффективный мониторинг состояния лесных территорий приобретает критическое значение, что нашло отражение во вступивших в силу «Правилах мониторинга пожарной опасности в лесах», утверждённых приказом Министерства природных ресурсов и экологии Российской Федерации от 12 мая 2025 года № 256

Одним из ключевых направлений модернизации мониторинга является применение методов искусственного интеллекта, в частности семантической сегментации видеопотоков. В отличие от традиционных способов наблюдения, где анализ возгораний осуществляется вручную, внедрение моделей глубокого обучения позволяет автоматически выделять дым, пламя и предвестники возгорания на больших объёмах данных с минимальными временными затратами. В данной работе основной акцент сделан на использовании архитектуры самообучения DINOv2 для извлечения эмбеддингов и формирования семантических карт лесных участков на основе данных камер наблюдения, установленных на вышках сотовой связи

Предметом исследования являются видеопотоки с камер наружного наблюдения, расположенных на антенных мачтах и пожарных наблюдательных пунктах, обеспечивающие визуальный контроль лесных массивов. Цель работы заключается в разработке подхода к автоматическому обнаружению признаков лесных пожаров с применением архитектуры DINOv2 и методов семантической сегментации, интегрируемых в систему мониторинга, соответствующую государственным нормативным требованиям.

Научная новизна работы заключается в разработке и обосновании комплексного подхода к автоматизированному мониторингу лесных пожаров, основанного на сочетании семантической сегментации видеоданных с использованием архитектуры DINOv2, пространственно-временного анализа последовательностей кадров и обработки данных непосредственно на граничных вычислительных устройствах. В отличие от подходов, ориентированных преимущественно на анализ отдельных кадров, предложенный подход предусматривает количественную фильтрацию кратковременных и пространственно нестабильных ложных детекций посредством оценки динамики обнаруженных областей во временной последовательности, что позволяет повысить достоверность формирования тревожных сообщений при ограниченной пропускной способности каналов связи. Дополнительным элементом новизны является формирование критериев комплексной оценки практической эффективности системы по показателям полноты обнаружения, количества ложных тревог, времени формирования сообщения и затрат на мониторинг в сопоставлении со спутниковым наблюдением и авиационным патрулированием. Полученные положения создают основу для обоснования условий применения интеллектуальных камерных систем как дополнительного уровня раннего обнаружения лесных пожаров в составе существующей системы мониторинга.

В качестве исходных данных использовались видеопотоки общей продолжительностью 87 часов, полученные с трёх вышек связи, расположенных в зоне повышенной пожарной опасности. Частота извлечения кадров составляла 2 кадра в секунду, в результате чего после предобработки было сформировано 233 000 изображений. Разметка данных выполнена вручную с использованием инструмента CVAT по четырём классам: «дым», «пламя», «небо» и «растительность». Качество разметки контролировалось путём перекрёстной валидации двух экспертов.

Эксперименты проводились на вычислительной платформе, включающей графический ускоритель NVIDIA RTX 3090 (24 ГБ), центральный процессор Intel Xeon Gold, 128 ГБ оперативной памяти. Среднее время обработки одного кадра при разрешении 1920×1080 составило 68 мс, что позволяет использовать предложенный подход в квазиреальном времени. Снижение разрешения до 1280×720 уменьшало время обработки до 42 мс, однако сопровождалось падением IoU по классу «дым» на 4–6%.

Для семантической сегментации использовалась модель DINOv2 ViT-L/14, дообученная на размеченной выборке

Интеграция FAISS реализована на этапе постобработки: эмбеддинги, извлечённые DINOv2 для каждого кадра или его ключевых регионов, индексировались в FAISS-хранилище, что позволяло выполнять быстрый поиск по сходству с ранее зафиксированными паттернами дыма и пламени. Такая схема обеспечивает ускоренный анализ архивных видеопотоков, повторное выявление аномалий и поддержку сценариев непрерывного мониторинга без повторного прохождения всей модели по данным. Практическая выгода интеграции заключается в снижении задержек при анализе и возможности масштабирования системы на большое число камер.

В рамках сравнительного анализа модель DINOv2 сопоставлялась с классическими CNN-архитектурами (U-Net, DeepLabv3 на базе ResNet-50) и трансформерной моделью SegFormer. Сравнение проводилось на одном и том же тестовом наборе данных: для U-Net средний IoU составил 0,62 (дым — 0,66), для DeepLabv3 — 0,65 (дым — 0,69), для SegFormer — 0,70 (дым — 0,73), при Pixel Accuracy в диапазоне 0,85–0,89. Эти значения демонстрируют количественное превосходство DINOv2 по метрикам IoU и Accuracy, особенно в задачах обнаружения слабоконтрастного дыма на больших дистанциях. Эксперименты показали, что DINOv2 обеспечивает более устойчивую сегментацию дыма при низком контрасте и на больших дистанциях наблюдения, в то время как CNN-модели демонстрировали более высокую чувствительность к изменениям освещённости и сезонным факторам

Внедрение моделей глубокого обучения позволяет автоматически выделять дым, пламя и другие визуальные признаки возгорания в больших объёмах данных с минимальными временными затратами. Использование DINOv2 потенциально позволяет сократить потребность в больших объёмах размеченных данных, что особенно важно для природных сцен, ручная разметка которых является трудоёмкой и дорогостоящей. Устойчивость модели к изменению освещения, сезонности и погодных условий также рассматривается как перспективное преимущество, однако для подтверждения данного свойства необходимы дополнительные эксперименты на независимых выборках, охватывающих различные сезоны и метеорологические условия. В качестве возможных мер повышения надёжности системы рассматривается анализ временных рядов сегментации, отслеживание динамики изменения дымовых областей и использование агрегированных признаков за последовательность кадров. Такие методы могут способствовать снижению числа кратковременных и статичных ложных детекций, однако их эффективность должна быть подтверждена количественно, например посредством сравнения показателей precision, recall, F1-score и частоты ложных тревог до и после применения временной фильтрации.

На рисунке 1 приведён схематический пример обработки посредством визуального сопоставления исходных кадров и соответствующих им масок семантической сегментации: исходный кадр преобразуется моделью в пространственно-организованную карту классов «дым», «пламя», «небо» и «растительность». Эти признаки далее будут использоваться в модуле пространственной локализации и временной фильтрации. Особенно информативным является представление пары «входной кадр — маска», поскольку оно позволяет непосредственно оценить границы обнаруженной области и характер ошибок модели.

Рисунок 1 - Схематический пример входного кадра и маски семантической сегментации

DOI:10.60797/IRJ.2026.172.58.1

display_fulldownload_image

Для эффективного и оперативного тушения лесных пожаров необходимо обеспечить быструю передачу достоверных и точных сведений в центр управления в кризисных ситуациях Территориального органа МЧС России по субъекту Российской Федерации (далее — ЦУКС). Данное подразделение отвечает за координацию сил и средств единой государственной системы предупреждения и ликвидации ЧС на региональном уровне. В этой связи достоверность информации о событии (в нашем случае — обнаруженном очаге лесного пожара)

В результате проведённых экспериментов модель показала значения IoU 0,81 для класса «дым» и 0,78 для класса «пламя», при среднем IoU 0,74 и Pixel Accuracy 0,92. Полученные показатели подтверждают способность модели выявлять признаки возгораний при слабой видимости, а также в условиях задымления и низкого контраста.

Разработанный алгоритм пространственной локализации очага включает сегментацию кадра, выделение связных областей дыма или пламени, а также пространственную привязку сегмента с учётом параметров калибровки камеры. Синхронизация с GPS-координатами точки установки позволила снизить среднюю ошибку определения положения очага до 350–480 м, что соответствует требованиям оперативного реагирования

Использование DINOv2 существенно сокращает потребность в больших размеченных наборах данных, что важно для условий, когда разметка природных сцен является дорогостоящей. Модель показывает устойчивость к изменению освещения, сезонности и погодных условий, что является одним из ключевых преимуществ по сравнению с классическими свёрточными сетями.

Принципиальным отличием данной работы от существующих решений является интеграция самообучающейся архитектуры ViT-типа с системой индексации FAISS, используемой как компонент конвейера анализа видеоданных для быстрого поиска сходных состояний и поддержки принятия решений в режиме, близком к реальному времени, что повышает скорость поиска аномалий в архиве видеопотоков и облегчает автоматизацию мониторинга.

В предлагаемом конвейере FAISS выполняет функцию быстрого поиска по признаковому пространству и не заменяет нейросетевую модель сегментации. После прохождения кадра через DINOv2 формируется эмбеддинг кадра либо ключевого региона. Для архивных данных соответствующие эмбеддинги предварительно индексируются в FAISS вместе с метаданными: идентификатором камеры, временем получения кадра, номером кадра и, при наличии, координатами наблюдения.

При поступлении нового кадра его эмбеддинг передаётся в индекс как поисковый запрос. FAISS возвращает наиболее близкие векторы, после чего система может получить связанные с ними кадры и метаданные. Такая организация позволяет не выполнять повторную обработку всей совокупности из 233 000 изображений при каждом ретроспективном запросе. Таким образом, FAISS решает прежде всего задачу ускорения поиска сходных состояний в архиве.

На рисунке 2 показано место FAISS в общей архитектуре. Основной поток включает предобработку, извлечение признаков DINOv2, сегментацию DeepLabv3+, временную фильтрацию и формирование тревожного сообщения. Параллельно сформированные эмбеддинги могут сохраняться в индекс FAISS. При архивном анализе поисковый запрос преобразуется DINOv2 в вектор, после чего выполняется поиск ближайших представлений. Найденные аналоги используются для повторной аналитики и сопоставления текущего состояния с ранее наблюдавшимися паттернами.

Рисунок 2 - Блок-схема интеграции FAISS в конвейер обработки видеоданных

DOI:10.60797/IRJ.2026.172.58.2

display_fulldownload_image

Таким образом, интеграция FAISS обеспечивает три практически значимых эффекта: сокращение времени поиска по архиву, повторное использование уже рассчитанных признаковых представлений и масштабирование системы при увеличении количества камер и накопленного видеоматериала.

Разработанный алгоритм пространственной локализации очага включает сегментацию кадра, выделение связных областей дыма или пламени, определение направления на обнаруженную область и пространственную привязку с учётом параметров калибровки камеры. GPS-координаты точки установки камеры используются как исходная пространственная привязка, а положение очага рассчитывается по направлению наблюдения и геометрическим параметрам системы.

На рисунке 3 представлена принципиальная схема локализации с координатами трёх пунктов наблюдения и фактических очагов.

Рисунок 3 - Схема пространственной привязки очага по данным камер и GPS

DOI:10.60797/IRJ.2026.172.58.3

display_fulldownload_image

Синхронизация с GPS-координатами точки установки позволила получить среднюю ошибку определения положения очага 350–480 м. Для повышения информативности сообщения в ЦУКС будет рекомендовано передавать не только итоговые координаты, но также идентификатор камеры, время обнаружения, направление на очаг, уровень уверенности модели и оценку пространственной погрешности.

Для устранения недостатка визуального представления количественных результатов на рисунке 4 представлено графическое сравнение моделей, на нём представлены средний IoU и IoU по классу «дым» для U-Net, DeepLabv3, SegFormer и DINOv2.

Рисунок 4 - Сравнение среднего IoU и IoU по классу «дым»

DOI:10.60797/IRJ.2026.172.58.4

display_fulldownload_image

Отдельно на рисунке 5 показано изменение числа подтверждённых и ложных тревог после применения временной фильтрации. Из 412 исходных тревожных сообщений после фильтрации осталось 137, при этом число ложных тревог уменьшилось с 316 до 48. Одновременно число подтверждённых событий снизилось с 96 до 89. Следовательно, фильтрация повышает селективность системы, но требует оптимизации для уменьшения потери части реальных событий.

Рисунок 5 - Изменение числа ложных и подтверждённых тревог после временной фильтрации

DOI:10.60797/IRJ.2026.172.58.5

display_fulldownload_image

В сравнении с традиционными CNN-методами предложенный подход показал меньшую зависимость от объёма размеченных данных и более высокую устойчивость к вариациям погодных условий. Однако было установлено, что наличие тумана, низкой облачности и дымки промышленного происхождения может приводить к ложным срабатываниям, особенно на дальних дистанциях

С учётом ограниченной пропускной способности каналов связи в удалённых районах предлагается использование edge-computing-подхода, при котором первичная сегментация и анализ выполняются на граничных устройствах, а в центр управления передаются только метаданные (координаты очага, уровень уверенности, временные характеристики), а не полный видеопоток. Это существенно снижает нагрузку на каналы связи и повышает практическую применимость системы.

Синхронизация данных, полученных от камер, с GPS-координатами позволяет значительно улучшить точность определения местоположения очага возгорания. В сочетании с алгоритмами, которые используют размеченные изображения для распознавания признаков, можно достичь высокой степени точности в определении координат. Этот аспект является важным для своевременного повышения оперативности прибытия привлекаемых к тушению сил и средств на место обнаружения очага пожара

Для количественной оценки эффективности анализа последовательности кадров был сформирован модельный тестовый набор из 30 000 кадров, содержащий 120 последовательностей с реальными признаками возгорания и 180 последовательностей, содержащих потенциальные источники ложных срабатываний, включая облака, туман, солнечные блики, дым от хозяйственной деятельности и движущиеся объекты. На первом этапе каждый кадр обрабатывался независимо, в результате чего система сформировала 412 тревожных событий, из которых 96 соответствовали подтверждённым признакам возгорания, а 316 были классифицированы как ложные срабатывания. Таким образом, без использования временной фильтрации точность формирования тревожных сообщений оставалась ограниченной: доля ложных тревог составила 76,7%, а полнота обнаружения реальных событий — 80,0%. На втором этапе для каждого обнаружения анализировалась последовательность из 10 кадров продолжительностью 5 секунд при частоте обработки 2 кадра в секунду. В качестве критериев подтверждения события использовались сохранение обнаруженной области не менее чем в 7 из 10 кадров, изменение её площади не менее чем на 5%, пространственная устойчивость обнаружения и наличие направленной динамики дымового шлейфа. После применения временного фильтра количество сформированных тревожных сообщений сократилось с 412 до 137, при этом 89 из них соответствовали подтверждённым событиям возгорания, а 48 были отнесены к ложным. Таким образом, в модельном эксперименте количество ложных тревог снизилось с 316 до 48, то есть на 84,8%, тогда как количество пропущенных реальных событий увеличилось с 24 до 31. Полнота обнаружения снизилась с 80,0 до 74,2%, однако доля истинных тревог среди всех сформированных сообщений увеличилась с 23,3 до 65,0%. Полученный результат показывает, что временная фильтрация позволяет существенно уменьшить количество реакций системы на кратковременные визуальные помехи.

Для оценки практической целесообразности предлагаемой системы был также выполнен модельный сравнительный анализ трёх подходов к мониторингу: камерного наблюдения с использованием искусственного интеллекта, спутникового мониторинга и авиационного патрулирования. В качестве базового варианта для камерной системы рассматривался один наблюдательный пост, включающий камеру высокого разрешения, граничное вычислительное устройство, оборудование связи, систему электропитания и программное обеспечение. Для расчётного примера условная стоимость создания одного поста была принята равной 750 тыс. рублей, а ежегодные эксплуатационные расходы — 120 тыс. рублей. При непрерывной работе поста 24 часа в сутки система обеспечивает потенциально 8 760 часов наблюдения в год. Если зона эффективного контроля одного поста в рассматриваемых условиях составляет условно 25 км², то для непрерывного контроля территории площадью 500 км² потребуется около 20 постов, а первоначальные капитальные затраты составят около 15 млн рублей. При этом дальнейшая эксплуатация 20 постов в модельном расчёте потребует около 2,4 млн рублей в год без учёта затрат на модернизацию оборудования и капитальный ремонт.

Спутниковый мониторинг обладает принципиально иными характеристиками. В частности, спутниковая система VIIRS обеспечивает пространственное разрешение 375 м в соответствующем продукте активных пожаров, тогда как система MODIS использует продукты с разрешением порядка 1 км, при этом перечисленные спутниковые системы обеспечивают значительно более широкое пространственное покрытие, чем наземная камера. Для VIIRS также доступны оперативные продукты активных пожаров, а некоторые варианты near-real-time обработки обеспечивают задержку порядка 2 минут, в отдельных современных системах сообщается о задержке около 50 секунд. Таким образом, спутниковый мониторинг экономически эффективен при необходимости наблюдения больших территорий, однако он не обеспечивает непрерывного наблюдения одной конкретной точки с частотой, сопоставимой с наземной видеокамерой. Данные, опубликованные в официальных источниках NASA, указывают, что частота наблюдения конкретной территории зависит от спутника и продукта, а MODIS и VIIRS получают повторные наблюдения с орбитальными ограничениями. В этой связи спутниковый вариант следует рассматривать не как непосредственную замену камеры, а как средство широкомасштабного обнаружения и подтверждения.

Авиационное патрулирование, напротив, обеспечивает возможность оперативного обследования выбранного района и получения визуальной информации значительно более высокого пространственного разрешения, однако требует привлечения воздушного судна и экипажа. Для иллюстративного расчёта принималась усредненная стоимость одного часа полёта 50 тыс. рублей, включая эксплуатационные расходы, топливо и оплату труда экипажа. При проведении четырёхчасового патрулирования в день в течение 180 дней пожароопасного периода суммарное время полёта составило бы 720 часов, а условные прямые затраты — 36 млн рублей в год. Данные значения могут варьироваться, определяясь фактическими тарифами конкретного эксплуатанта воздушного судна. При этом авиационное наблюдение имеет преимущество перед стационарными камерами в возможности быстро изменить район патрулирования, но уступает непрерывной автоматизированной системе по продолжительности автономного наблюдения конкретной территории.

Сравнительный анализ, произведенный в модельном сценарии для территории площадью 500 км² показывает, что камерная система из 20 постов обеспечивает 175 200 часов потенциального наблюдения в год, тогда как авиационное патрулирование при 720 часах полёта обеспечивает значительно меньшее суммарное время непосредственного наблюдения. Спутниковая система, напротив, охватывает эту территорию без необходимости установки наземной инфраструктуры, но наблюдение осуществляется в соответствии с орбитальной геометрией и характеристиками конкретного спутникового продукта. Выведенная экономическая модель показывает преимущество стационарных автоматизированных постов при длительном непрерывном наблюдении ограниченных территорий, тогда как спутниковые и авиационные средства сохраняют преимущества при широком пространственном охвате.

В работе представлен и экспериментально оценён подход к мониторингу лесных пожаров на основе семантической сегментации видеопотоков с применением архитектуры DINOv2. Полученные результаты подтверждают целесообразность использования самообучающихся трансформерных моделей для раннего обнаружения очагов возгорания и автоматизации анализа видеоданных.

К числу основных ограничений исследования относится ограниченный объём данных, полученных в экстремальных погодных условиях, таких как плотный туман и низкая облачность. В этих сценариях модель демонстрирует увеличение числа ложноположительных срабатываний по классу «дым». Кроме того, качество сегментации существенно зависит от разрешения видеопотока и стабильности канала передачи данных, что актуально для удалённых территорий.

Ошибки модели также связаны с визуальным сходством дымовых шлейфов и облаков, а также с сезонными изменениями цвета растительности. Эти факторы требуют дополнительной фильтрации результатов и интеграции данных из альтернативных источников, таких как тепловизионные или спутниковые наблюдения.

Перспективным направлением дальнейших исследований является проведение независимой межсезонной и межметеорологической валидации разработанной системы. Для этой цели запланировано расширить тестовую выборку данными, полученными в различные сезоны, при разных уровнях освещённости и в условиях тумана, низкой облачности, осадков и дымки. Количественная оценка по показателям IoU, precision, recall, F1-score и частоте ложных тревог позволит определить пределы применимости модели и подтвердить либо опровергнуть предположение о её устойчивости к изменению внешних условий.

Дальнейшая проработка системы предполагает расширение обучающей выборки за счёт данных, полученных в сложных метеоусловиях, оптимизацию обработки видеопотоков низкого качества, а также внедрение механизмов объединения информации с нескольких камер для минимизации «слепых зон». Планируемым этапом является проведение натурных испытаний в реальных условиях пожароопасного сезона и оценка устойчивости системы при длительной эксплуатации. Реализация указанных направлений позволит повысить надёжность мониторинга и практическую применимость разработанного подхода в задачах охраны лесов и предупреждения чрезвычайных ситуаций.