Semantically-driven 3D photogrammetry for monitoring the safety of railway infrastructure

Research article
  • Хомоненко Анатолий Дмитриевич0000-0003-0411-258XПетербургский государственный университет путей сообщения Императора Александра I, Санкт-Петербург, Российская Федерация
https://doi.org/10.60797/IRJ.2026.173.56
DOI:
https://doi.org/10.60797/IRJ.2026.173.56
EDN:
JNWNDQ
Suggested:
17.10.2026
Accepted:
12.11.2026
Published:
17.11.2026
Issue: № 11 (173), 2026
Issue: № 11 (173), 2026
Rightholder:authors.
License:Attribution 4.0 International (CC BY 4.0)
11
0
XML
PDF

Abstract

Monitoring railway safety requires very different levels of accuracy from 3D data. The contact wire must be measured to the nearest millimetre. For ballast and the subgrade formation, however, a centimetre of accuracy is sufficient. Existing methods for processing photogrammetric point clouds operate on global parameters. They cannot simultaneously meet such diverse requirements. As a result, fine structures are irretrievably lost as early as the pre-processing stage. The work proposes a semantically-guided 3D photogrammetry method. The main idea is that a priori semantic information about railway objects is used as a constraint on geometric processing, rather than as a final label. A three-level system of methods has been developed. The first is semantically-driven adaptive filtering based on the geometric features of railway elements, with a proof of convergence for the iterative scheme. The second is a simplification algorithm that preserves the topology of extended thin structures, with a derivation of the upper bound for geometric error. The third is an accuracy assessment criterion for the integration of photogrammetric and LiDAR data. Experiments show that, when measuring the height of the contact wire, the proposed method reduces the geometric error from 12.4 mm to 3.7 mm. The traditional approach yields 12.4 mm. At the same time, the data compression ratio remains at 94.1%. The effect analysis further shows that the semantically-driven strategy increases the effective density of points on thin structures by approximately 4.8 times. This provides a quantifiable technological advantage for railway safety monitoring.

1. Введение

Трёхмерное восприятие железнодорожной инфраструктуры упирается в фундаментальное противоречие точности. Мониторинг безопасности требует, чтобы допустимые отклонения таких параметров, как износ рельса, высота контактного провода, ослабление скреплений, лежали в миллиметровом диапазоне. А крупномасштабные фотограмметрические методы даже в идеальных условиях дают точность лишь порядка 1–2 см

,
. Особенно остро это противоречие проявляется на протяжённых тонких структурах. Ширина проекции контактного провода на изображении обычно составляет всего 1–3 пикселя. Стандартные алгоритмы плотного стереосопоставления не формируют устойчивых соответствий на его поверхности. Восстановленное облако точек оказывается разрывным или систематически смещённым
.

Принципиальное ограничение существующих методов лежит не в недостаточной точности отдельного алгоритма. Проблема в несоответствии архитектуры обработки структуре задачи. Железнодорожная сцена состоит из компонентов, которые различаются по функции, масштабу и геометрии. Рельс — это непрерывная протяжённая структура. Контактный провод — тонкая нить в форме цепной линии. Балласт — квазиплоское тело. Скрепление — дискретный маломасштабный элемент. Универсальный конвейер обработки облаков точек (фильтрация, упрощение, сегментация, измерение) применяет к ним единые параметры

,
. Поэтому он неизбежно либо разрушает тонкие структуры, либо сохраняет избыточные данные на массивных поверхностях.

В настоящей работе развивается подход, в котором семантическая информация о типе железнодорожного элемента встраивается в геометрическую обработку с самого начала. Центральная гипотеза состоит в том, что априорное знание структуры объекта позволяет сформулировать ограничения на допустимые преобразования облака точек. Эти ограничения обеспечивают сохранение критически важных геометрических признаков при существенном сокращении объёма данных. Далее последовательно излагаются математическая модель семантически управляемой фильтрации, алгоритм упрощения с сохранением топологии тонких структур, процедура комплексирования разнородных данных и результаты вычислительных экспериментов с количественной оценкой эффекта.

2. Математическая модель семантически управляемой обработки

Облако точек фотограмметрического происхождения представим как конечное множество

где

— координаты точки, ai — набор атрибутов (цвет, нормаль, интенсивность), N — общее число точек.

Введём отображение семантической стратификации

ставящее в соответствие каждой точке номер функциональной страты. Для железнодорожной задачи достаточно K=4:

Страта 1 — несущие элементы пути (рельс, скрепления).

Страта 2 — протяжённые тонкие структуры (контактный провод, несущий трос).

Страта 3 — массивные поверхности (балласт, земляное полотно, иск усственные сооружения).

Страта 4 — фоновая и переходная зоны.

Обработка облака рассматривается как параметризованное отображение

где

— набор параметров обработки, соответствующий страте k. В отличие от традиционного подхода параметры не являются глобальными: выбираются независимо для каждой страты.

3. Локальный дескриптор и адаптивный порог

Для каждой точки

рассмотрим множество k-ближайших соседей
. Локальный дескриптор определяется как среднее расстояние до точек окрестности:

Этот дескриптор характеризует локальную плотность. В плотных областях его значения малы. В разреженных и зашумлённых — возрастают

,
.

По значениям dj для точек окрестности вычисляются локальные статистики – среднее µi и стандартное отклонение σi. Адаптивный порог задаётся выражением

где ɑσ(i) — коэффициент жёсткости, зависящий от страты. Решение о сохранении точки принимается по критерию

Схема адаптивной фильтрации настраивает порог T локально, но оставляет фиксированными для всего облака число соседей k и коэффициент жёсткости α. Это неприемлемо для железнодорожной сцены. Её элементы различаются по характерному масштабу на порядки. От 10–12 мм у контактного провода до метров у балластной призмы. Единая окрестность либо теряет устойчивость на рельсе, либо собирает случайную статистику на балласте. А единый коэффициент α либо разрушает кромки рельса, либо не подавляет шум на поверхностях. Поэтому возникает необходимость перейти от единой схемы к семейству схем с параметрами

применяемых к функционально однородным стратам
.

3.1. Дифференциация параметров по стратам

Выбор параметров для каждой страты опирается на геометрические характеристики соответствующих элементов.

Страта 1 (рельс, скрепления). Характерный поперечный размер головки рельса составляет 70–75 мм. При типичной плотности фотограмметрического облака это соответствует 15–30 точкам в поперечном сечении. Для устойчивой оценки локальной геометрии при сохранении избирательности необходимо k ∈ [12, 20]. Пониженный коэффициент жёсткости α ∈ [0,6, 0,9] предотвращает удаление точек на кромках и в зонах сопряжения рельса с подкладками.

Страта 2 (контактный провод, трос). Поперечный размер провода диаметром 10–12 мм при плотности облака, характерной для аэрофотосъёмки с высоты 30–50 м, соответствует 1–3 точкам

. Стандартная оценка локальной плотности здесь неприменима. Окрестность оказывается вытянутой вдоль провода. Требуется модификация дескриптора с учётом анизотропии.

Страта 3 (балласт, земляное полотно). Допустимо агрессивное сглаживание с k ∈ [30, 50] и α ∈ [1,0, 1,5].

3.2. Дескриптор с учётом анизотропии окрестности

Для страты 2 введём ковариационную матрицу локальной окрестности

где xic — центр окрестности. Собственные значения λ1≥ λ2≥λ3 характеризуют вытянутость окрестности. Для протяжённой тонкой структуры выполняется λ1>> λ2≈λ3.

Определим коэффициент анизотропии

Модифицированный дескриптор задаётся как

где β > 0 — параметр, ослабляющий штраф за разреженность вдоль главного направления. При ki →0 (изотропная окрестность) diM→di и критерий переходит в стандартный

.

Утверждение 1. Пусть облако конечно, правило формирования окрестностей Nk(xi) фиксировано, а порог вычисляется детерминированно. Тогда итерационная процедура фильтрации

достигает неподвижной точки за конечное число шагов.

Доказательство. Мощность множества P не возрастает, поскольку удаление точек не может привести к их появлению. Множество P конечно, поэтому последовательность его мощностей – невозрастающая последовательность натуральных чисел, ограниченная снизу нулём. Следовательно, она стабилизируется за конечное число шагов, не превышающее N. В состоянии стабилизации P(i+1)=P(i), что и означает достижение неподвижной точки.

3.3. Устойчивость к возмущениям входных данных

Утверждение 2. Пусть возмущение координат таково, что состав локальных k-окрестностей не изменяется. Тогда изменение локального дескриптора ограничено

Доказательство. При неизменном составе окрестностей каждое слагаемое ||xi–xj|| изменяется не более чем на 2δ в силу неравенства треугольника. Среднее по k слагаемым изменяется не более чем на 2δ. Деление на множитель (l + βlog(l + ki))≥l лишь уменьшает оценку.

Следствие. Решение о сохранении или удалении точки остаётся неизменным вне узкой приграничной области |di – Ti| ≤ 2δ. Это обеспечивает контролируемую чувствительность модели к фотограмметрическим погрешностям восстановления координат.

4. Алгоритм упрощения с сохранением топологии тонких структур

4.1. Постановка задачи разрежения

Пусть Pf – облако после фильтрации, M — максимально допустимое число точек. Требуется выбрать подмножество S*⸦ Pf такое, что

где функционал качества

характеризует среднее расстояние от точек исходного облака до ближайших точек выбранного подмножества

.

Прямой перебор подмножеств имеет комбинаторную сложность и неприменим при больших N. Предлагается приближённый метод, адаптированный к структуре железнодорожной сцены.

4.2. Воксельная дискретизация с переменным размером ячейки

Стандартная воксельная дискретизация использует фиксированный размер ячейки V. Для страты 2 (тонкие структуры) это неприемлемо. При V, превышающем диаметр провода, структура исчезает. При V, меньшем диаметра, сокращение объёма оказывается недостаточным

.

Введём переменный размер ячейки

где k — номер страты, γ > 1 — коэффициент роста. Для страты 2 используется минимальный размер v2 = vmin, для страты 3 — увеличенный v3 = vmin γ.

4.3. Алгоритм упрощения тонких структур

Для страты 2 воксельная дискретизация заменяется процедурой выбора представителей вдоль главного направления структуры.

Алгоритм 1. Упрощение тонкой структуры:

1. Выполнить кластеризацию точек страты 2 методом DBSCAN с параметрами (ε, m)

.

2. Для каждого кластера C вычислить главную ось u как собственный вектор ковариационной матрицы, соответствующий максимальному собственному значению. Упорядочить точки кластера по проекции на u. Выбрать подмножество точек с шагом ΔS вдоль оси, где ΔS задаётся требованиями к последующему анализу.

3. Объединить результаты по всем кластерам.

Утверждение 3. Пусть кластер C аппроксимируется отрезком прямой длины L с поперечным разбросом ρ. Тогда после применения Алгоритма 1 с шагом ΔS число сохраняемых точек удовлетворяет условию

а максимальное отклонение любой точки кластера от ближайшей сохранённой не превышает

Доказательство. Первое утверждение следует из того, что точки выбираются с шагом ΔS вдоль оси длины L. Второе — из геометрических соображений. Проекция произвольной точки на ось находится на расстоянии не более ΔS/2 от ближайшей выбранной точки. Поперечное отклонение ограничено ρ. Расстояние в трёхмерном пространстве не превышает евклидовой нормы суммы продольной и поперечной составляющих.

Следствие. При ΔS ≪ ρ геометрическая ошибка упрощения определяется поперечным разбросом ρ. Для контактного провода он имеет порядок его диаметра. Это означает, что предложенный алгоритм обеспечивает сохранение геометрии тонкой структуры с точностью, ограниченной физическим размером самой структуры, а не шагом упрощения.

4.4. Комплексный критерий качества обработки

Для количественного сопоставления вариантов обработки введём интегральный показатель

где E — геометрическая ошибка (среднее расстояние от точек исходного облака до ближайших точек обработанного), R — коэффициент разрежения (отношение числа точек после обработки к исходному), C — нормированное время обработки, G — отклонение нормалей (характеристика сохранности локальной геометрии).

Весовые коэффициенты выбираются исходя из приоритетов конкретной задачи. Для мониторинга безопасности железнодорожной инфраструктуры целесообразно усилить вес геометрической ошибки и отклонения нормалей. Именно эти показатели отражают сохранность критически важных геометрических признаков.

4.5. Границы применимости фотограмметрии

Фотограмметрическое восстановление опирается на наличие устойчивых соответствий между изображениями. Это предполагает достаточную текстуру наблюдаемой поверхности

. В железнодорожной сцене существует класс объектов, для которых это условие систематически нарушается. Контактный провод и несущий трос наблюдаются на фоне неба. Гладкие металлические поверхности элементов контактной сети дают зеркальные блики. Поверхности в глубокой тени имеют низкий контраст.

Количественно условие устойчивости стереосопоставления может быть выражено через локальную дисперсию интенсивности в окне сопоставления

где W — окно сопоставления, I(i, j) — значение интенсивности (яркости) пикселя с координатами (i, j), Ī — средняя интенсивность. При D < D_min сопоставление становится неустойчивым. Соответствующая область облака точек формируется с большой дисперсией по глубине

.

4.6. Роль лидарных данных

Лазерное сканирование свободно от ограничения текстурности. Оно непосредственно измеряет расстояние до поверхности. Это делает лидарные данные естественным дополнением фотограмметрии в зонах, где последняя теряет устойчивость.

Предлагается стратегия целевого комплексирования. Фотограмметрия обеспечивает плотное покрытие и цветовую информацию для массивных поверхностей и элементов с достаточной текстурой. Лидар обеспечивает геометрическую достоверность для тонких и слаботекстурных структур

,
.

4.7. Совмещение разнородных данных

Совмещение облаков выполняется в два этапа.

Этап 1. Начальное совмещение по опорным точкам

где pl(1), pl(2) — соответствующие опорные точки.

Этап 2. Уточнение по стратам. Для страты 2 используется модифицированная метрика, не штрафующая за смещение вдоль главного направления структуры

где ui — локальное направление структуры, yi* — ближайшая точка второго облака. Такая метрика обеспечивает устойчивое совмещение протяжённых структур, для которых продольное смещение не является информативным.

5. Постановка вычислительного эксперимента

Экспериментальная проверка выполнялась на реальных данных аэрофотосъёмки участка железнодорожного пути. Съёмка велась с использованием беспилотного летательного аппарата. Исходные изображения обрабатывались в WebODM, развёрнутом в контейнеризированной среде Docker. После этого формировалось плотное облако точек, которое служило входными данными для разработанного программного модуля постобработки.

Вычислительная среда: процессор Intel Core i7-11700, оперативная память 32 ГБ, операционная система Windows 11. Для каждого прогона фиксировались входной файл формата PLY, значения параметров обработки, а также рассчитанные показатели E, R, C, G и Q.

Методика эксперимента включала следующие этапы:

1. Построение плотного облака в WebODM.

2. Семантическая стратификация облака.

3. Адаптивная фильтрация с параметрами, дифференцированными по стратам.

4. Предварительное воксельное сокращение.

5. Кластерная очистка на основе DBSCAN.

6. Упрощение тонких структур по Алгоритму 1.

7. Финальное разрежение.

8. Расчёт количественных метрик качества.

5.1. Анализ чувствительности параметров

Исследование чувствительности проводилось путём варьирования одного параметра при фиксированных остальных. Установлены следующие области устойчивой настройки.

Для страты 1: k = 12–20, α = 0,6–0,9.

Для страты 2: k = 20–32, β = 0,5–1,0, ΔS = 0,02–0,05 м.

Для страты 3: k = 30–50, α = 1,0–1,5.

Параметры DBSCAN: ε = 0,6–1,0 м, m = 30–80.

Размер финального вокселя: V_min = 0,03–0,07 м.

Показано, что в указанных диапазонах изменение параметров приводит к изменению интегрального показателя Q не более чем на 15%. Это свидетельствует о наличии широкой области устойчивости и снижает требования к точности настройки.

5.2. Результаты обработки

Количественные показатели обработки приведены в таблице.

Таблица 1 - Количественные показатели качества обработки облаков точек

Вариант обработки

Число точек

Е, мм

R

Время, с

Q

Исходное облако

10 544 295

—

1,00

—

—

После фильтрации и кластерной очистки

9 009 833

1,4

0,85

555,5

12,06

После стандартного разрежения

538 882

1,7

0,05

165,5

13,97

После семантически управляемого упрощения

621 450

1,1

0,05

968,2

10,84

Сравнение последних двух строк показывает, что семантически управляемое упрощение обеспечивает снижение геометрической ошибки на 35% (с 1,7 до 1,1 мм) при незначительном увеличении числа сохраняемых точек (с 538 882 до 621 450, то есть на 15%). Интегральный показатель качества Q при этом улучшается на 22% (с 13,97 до 10,84).

5.3. Оценка эффекта на задаче измерения высоты контактного провода

Наиболее показательная оценка эффекта получена на задаче измерения высоты контактного провода относительно головки рельса. Этот параметр непосредственно влияет на безопасность движения.

Сравнивались три варианта обработки:

1. Вариант А — стандартный конвейер WebODM без специализированной постобработки.

2. Вариант В — стандартная фильтрация и воксельное разрежение с глобальными параметрами.

3. Вариант С — предлагаемая семантически управляемая обработка.

Результаты измерений сопоставлялись с эталонными значениями, полученными контактным методом. В таблице 2 приведена точность измерения высоты контактного провода.

Таблица 2 - Точность измерения высоты контактного провода

Вариант

Средняя ошибка, мм

СКО ошибки, мм

Макс. ошибка, мм

Сохранность провода, %

A

18,2

7,4

34,1

62

B

12,4

5,1

22,8

71

C

3,7

1,6

7,9

96

Предложенный метод снижает среднюю ошибку измерения высоты контактного провода с 12,4 мм (вариант В) до 3,7 мм (вариант С), то есть в 3,35 раза. Максимальная ошибка уменьшается с 22,8 до 7,9 мм. Это переводит задачу из категории «грубая оценка» в категорию «измерение, пригодное для принятия решений о безопасности».

Показатель сохранности провода отражает долю протяжённости провода, для которой в обработанном облаке имеются точки, пригодные для измерения. Для варианта С этот показатель достигает 96%. Для стандартного разрежения он составляет 71%. Для исходного конвейера WebODM – 62%.

5.4. Оценка эффективной плотности на тонких структурах

Дополнительная оценка эффекта выполнена через показатель эффективной плотности точек на тонких структурах

где Nthin — число точек, отнесённых к тонким структурам, Lthin — суммарная протяжённость этих структур.

Для стандартного разрежения ρeff≈4,2 точек/м. Для семантически управляемого упрощения ρeff ≈ 20,1 точек/м. Таким образом, эффективная плотность на тонких структурах увеличивается в 4,8 раза при общем сокращении объёма данных на 94,1%. Этот результат количественно подтверждает основную гипотезу работы. Дифференциация параметров обработки по стратам позволяет перераспределить «бюджет точек» в пользу критически важных элементов.

5.5. Анализ ограничений

Проведённые эксперименты позволяют очертить область применимости метода. Наиболее проблемными остаются сцены с водными поверхностями и бликами, низкотекстурные участки, тонкие конструкции и движущиеся объекты. В таких случаях постобработка способна уменьшить количество артефактов, но не заменяет контроля качества исходной фотограмметрической реконструкции.

Существенно, что предложенный метод следует рассматривать как эффективный этап постобработки для статических сцен с достаточной текстурированностью поверхности и умеренным уровнем фотограмметрических искажений. А в сложных условиях — как часть более широкого технологического конвейера, включающего лидарное сканирование.

6. Заключение

Предложена семантически управляемая методика 3D-фотограмметрии для мониторинга безопасности железнодорожной инфраструктуры. Она отличается встраиванием априорной семантической информации в процесс геометрической обработки на всех этапах. Основные научные результаты состоят в следующем.

1. Разработана математическая модель адаптивной фильтрации, в которой параметры обработки дифференцированы по функциональным стратам железнодорожной сцены. Доказаны сходимость итерационной схемы и её устойчивость к малым возмущениям входных данных.

2. Предложен алгоритм упрощения, сохраняющий топологию протяжённых тонких структур. Получена верхняя граница геометрической ошибки, определяемая поперечным размером структуры, а не шагом упрощения.

3. Сформулирован критерий комплексирования фотограмметрических и лидарных данных, учитывающий различие требований к точности для разных элементов инфраструктуры.

4. Экспериментально подтверждено, что предложенный метод снижает среднюю ошибку измерения высоты контактного провода с 12,4 до 3,7 мм (в 3,35 раза) и увеличивает эффективную плотность точек на тонких структурах в 4,8 раза при общем сжатии данных на 94,1%.

Полученные результаты имеют значение не только для обработки конкретного набора данных. Они важны и для дальнейшего развития методов математического моделирования и численного анализа пространственных данных железнодорожной инфраструктуры. Предложенный подход демонстрирует, что учёт функциональной неоднородности объекта на уровне математической модели обработки позволяет достичь существенно более высоких показателей точности на критически важных элементах без увеличения общего объёма данных.

Перспективы дальнейших исследований связаны с автоматизацией выбора параметров обработки на основе накопленных данных, расширением набора распознаваемых типов дефектов и интеграцией с системами поддержки принятия решений в области эксплуатации железных дорог.

Article metrics

Views:11
Downloads:0
Views
Total:
Views:11