MATHEMATICAL SUBSTANTIATION OF THE ARCHITECTURE OF A COMBINED NEURAL NETWORK WITH DETERMINISTIC WEIGHT PARAMETRISATION IN MOBILE CYBER-PHYSICAL SYSTEMS FOR CROP MONITORING
MATHEMATICAL SUBSTANTIATION OF THE ARCHITECTURE OF A COMBINED NEURAL NETWORK WITH DETERMINISTIC WEIGHT PARAMETRISATION IN MOBILE CYBER-PHYSICAL SYSTEMS FOR CROP MONITORING
Abstract
Research problem. The implementation of deep learning algorithms in mobile cyber-physical systems (unmanned aerial vehicles) for monitoring agrocenoses is limited by the stochastic nature of the neural network weight initialisation. The random selection of initial parameters causes the model to get stuck in local minima of the objective function, resulting in prolonged training times and, consequently, reduced classification accuracy for minor classes (crop defects and stresses) on inherently unbalanced agronomic datasets.
The aim of the study is to provide a mathematical substantiation for the architecture of a hybrid neural network and to develop a deterministic method for parameterising its weights, to ensure high-precision and robust detection of defective areas in high-resolution RGB images.
The novelty of the methodological approaches lies in the synthesis of a combined architecture of convolutional layers (with normalisation and regularisation blocks) and a modified algorithm for normalised weight initialisation, mathematically adapted for rectified linear unit (ReLU). The suggested approach allows the influence of stochasticity and the variance of activations in the forward and backward passes to be analytically mitigated, which guarantees the model’s stable convergence and prevents it from overfitting to majority classes without the need for resource-intensive pre-training procedures or multiple reboots.
Results and scientific significance. Numerical experiments have confirmed the scientific hypothesis that deterministic initialisation statistically enhances the generalisation ability of the network. The following model quality metrics were obtained: average accuracy on the training sample — 0.958 (maximum — 0.967); average accuracy on the test set — 0.912 (maximum — 0.921). The scientific significance of the results lies in demonstrating the possibility of reliably recognising minor classes of agronomic anomalies (nutrient deficiencies) on unbalanced data. This provides a theoretical and algorithmic basis for deploying lightweight neural network models on onboard computers of mobile robots and UAVs in real-time precision farming systems.
1. Введение
Глобальный рост населения и увеличение спроса на сельскохозяйственную продукцию диктуют необходимость повышения эффективности агропроизводства без ущерба для качества продуктов и окружающей среды
, . Ключевым инструментом в решении этой задачи становится автоматизированный анализ изображений сельскохозяйственных полей, позволяющий оценивать состояние почв, выявлять стрессовые факторы и болезни растений на ранних стадиях , .Развитие информационных технологий, включая Интернет вещей (IoT), облачные вычисления и дистанционное зондирование Земли с помощью беспилотных летательных аппаратов (БПЛА), революционизирует понимание агроэкосистем
, . БПЛА обеспечивают неинвазивный сбор данных на обширных и труднодоступных территориях, формируя массивы плотных и сложных изображений . Если традиционные методы компьютерного зрения, опирающиеся на ручное извлечение признаков (HOG, SIFT, SURF) и классификаторы типа SVM, демонстрировали низкую эффективность в условиях плотных сцен и значительных перекрытий объектов , , то глубокое обучение (Deep Learning, DL), в частности сверточные нейронные сети (CNN), показало выдающиеся результаты в агропроизводственных задачах компьютерного зрения , .Современные исследования подтверждают, что методы DL статистически значимо превосходят традиционные подходы в задачах выявления болезней растений (точность до 97,8% на моделях VGG19 для картофельных листьев
), обнаружения сорняков (до 98% на архитектуре Inception V2), а также классификации типов землепользования по мультиспектральным снимкам . Тем не менее, внедрение нейросетевых моделей в мобильные киберфизические системы (на борт БПЛА или наземные робототехнические комплексы) сталкивается с рядом фундаментальных проблем: «исчезающий градиент», переобучение, высокая вычислительная сложность и, что особенно важно, стохастическая природа начальной инициализации весов , , .Архитектуры искусственных нейросетей (ИНС), например, Inception и ResNet, успешно решают часть этих задач за счет многоуровневой абстракции и специфических функций активации
, , однако вопрос влияния случайного выбора начальных параметров на сходимость модели при работе с несбалансированными агрономическими датасетами (где классы «дефицит питательных веществ» или «болезнь» представлены минорно) остается открытым. Стандартная стохастическая инициализация часто приводит к необходимости многократных перезапусков процедуры обучения (до 10 раз), что неприемлемо в условиях ограниченных вычислительных ресурсов мобильных платформ.Проблема исчезающего градиента может решаться в сетях с рекуррентными слоями, например, «Long Short-Term Memory» (LSTM), представленными на рис.1-а. Комбинация сверточных слоев со слоями подвыборки, например в архитектуре Inception, обеспечивает более релевантные результаты.
Элементы архитектуры слоев ИНС:
a) LSTM; b) ячейка Inception
Цель исследования и математическая постановка задачи
Цель исследования — математическое обоснование архитектуры комбинированной сверточной нейронной сети и разработка детерминированного метода параметризации её весов для обеспечения робастной мультиклассовой классификации дефектных участков агроценозов по RGB-изображениям высокого разрешения, получаемым с БПЛА в составе мобильных киберфизических систем.
Научная гипотеза
Предполагается, что замена стохастической инициализации весов детерминированной (нормализованной) инициализацией, математически согласованной с полулинейной функцией активации ReLU, позволяет:
1) аналитически нивелировать дисперсию активаций на прямом и обратном проходах сети;
2) исключить попадание траектории градиентного спуска в локальные минимумы целевой функции;
3) статистически значимо повысить точность классификации минорного класса (дефицит питательных веществ) на заведомо несбалансированном агрономическом датасете без применения ресурсоёмких процедур предварительного обучения и многократных перезапусков.
Математическая постановка задачи
Задача автоматизированного выявления дефектных участков посевов по цветным аэрофотоснимкам формализуется как задача мультиклассового распознавания образов.
Пусть
Y = {A, B, C, D} = {(1,0,0,0), (0,1,0,0), (0,0,1,0), (0,0,0,1)},
где A — оптимальное развитие, B — локальное компенсаторное развитие, C — среднее развитие, D — дефицит питательных веществ и микроэлементов.
Задана обучающая выборка
причём распределение классов P(Y) является несбалансированным:
P(yD) << P(yA).
Требуется построить параметрическое отображение
где
Отображение fθ реализуется как композиция L функциональных слоёв:
где φl — операции свёртки (Conv2D), пакетной нормализации (BatchNorm), подвыборки (MaxPooling) и регуляризации (Dropout); σ — функция softmax на выходном полносвязном слое.
Целевая функция обучения — категориальная кросс-энтропия:
Оптимальный вектор параметров определяется как:
При стандартной стохастической инициализации
обладает высокой дисперсией сходимости:
Формулировка задачи оптимизации архитектуры
Требуется найти такую детерминированную инициализацию θ0 = θdet, при которой:
при одновременном выполнении условия повышения метрики F1-score для минорного класса D:
2. Методы и принципы исследования
Исходные RGB-изображения агроценозов высокого разрешения (4К) получены с помощью мультиспектральных камер, установленных на квадрокоптерах DJI Phantom 4, в период вегетации сельскохозяйственных культур
, , , .Предобработка данных включает:
1. Приведение пространственной размерности к 300 х 300 пикселей;
2. Нормализацию интенсивности по каждому RGB-каналу:
где mc, σc — выборочное среднее и стандартное отклонение по c-му каналу;
3. Разбиение датасета в соотношении 80/10/10 (обучающая / валидационная / тестовая выборки);
4. Аугментацию данных (повороты, отражения) для расширения обучающего множества.
Архитектура сети. Разработана комбинированная ИНС из 14 слоёв, включающая блоки пакетной нормализации, сверточные слои вида Conv2D(32, (3 х 3), padding = 'same', activation = 'ReLU',
слои подвыборки MaxPooling2D(2 х 2), слои регуляризации Dropout(p = 0,25) и выходной полносвязный слой Dense(4, activation = 'softmax'. Общее число обучаемых параметров - P ≈ 43 106.
В качестве функции активации использовалась полулинейная зависимость (ReLU)
, :
Обучение проводилось с использованием оптимизатора Adam и целевой функции L(θ) = categorical_crossentropy и детерминированной инициализации весов, математическое обоснование которой приведено в разделе 4.
3. Основные результаты
3.1. Особенности датасета и базовой архитектуры ИНС
Экспериментально исследуемые изображения анализируемых участков агрополей были получены с помощью камер с разрешением 4К, установленных на квадрокоптерах DJI Phontom 4.
Поскольку качество и производительность проектируемой нейросети существенно зависят не только от архитектуры ИНС, но и от параметров обучающего датасета, то применялись различные способы предварительной обработки исходных цветных изображений, включая корректировку их размерности. Типичные изображения, получаемые с помощью БПЛА, представлены на рисунке 2.
Исходные изображения для нейросетевого анализа:
a) нормальное развитие растений; b) изреженные всходы
model.add(Conv2D(32, (3,3), padding=‘same', activation='relu'),
чередующиеся со слоем подвыборки вида
(MaxPooling2D(pool_size=(2, 2))),
а также слои регуляризации
(dropout (0.25)).
Выходной полносвязный слой
model.add(Dense(4, activation=’softmax'))
с 4-мя нейронами по числу выявляемых классов (без учета сорняков).
Диаграммы обучения разработанной ИНС комбинированного типа, решающей сформулированную выше задачу, приведены на рисунке 3.
Процессы обучения ИНС при распознавании состояния посевов:
а) базового; б) оптимизированного
Анализ диаграмм процессов обучения разработанных ИНС показывает рост значений долей верных классификаций, представленные на рисунке 3, показывают их рост в пределах 0,1…0,95.
3.2. Обоснование детерминированной инициализации весов
Особенностью обучения глубоких сетей является стохастический выбор начальных весов, что часто приводит к неопределенности траектории обучения и необходимости многократных запусков (до 10 раз) для достижения глобального минимума
, . При использовании сигмоидальных функций активации в сочетании со случайной инициализацией наблюдается быстрое насыщение нейронов, что делает такой подход непригодным для глубоких архитектур .
Для проверки выдвинутой научной гипотезы в работе был применен детерминированный подход к инициализации весов, основанный на нормализованном распределении начальных параметров. В отличие от стандартной инициализации θ0 ∼ U(0,1), нормализованная инициализация снижает дисперсию активаций на прямом и обратном проходах
. Начальные значения весов сети W определялись по модифицированной зависимости (аналог инициализации Xavier):где U — функция равномерного распределения, nj — число нейронов на текущем слое, n{j+1} — на следующем.
При использовании полулинейной функции активации (ReLU) веса определялись по зависимости He
:Применение формул (11) и (12) позволило:
- ускорить обучение без необходимости предварительного обучения (pre-training);
- исключить многократные перезапуски процедуры обучения;
- обеспечить устойчивую сходимость модели к глобальному минимуму целевой функции (5).
3.3. Численные результаты
Тестирование разработанной ИНС проводилось с оптимизатором «Adam» . Численные эксперименты подтвердили проверяемую научную гипотезу: детерминированная инициализация обеспечила высокую устойчивость обучения. Несмотря на то, что класс «D» (дефицит питательных веществ) был представлен в датасете минорно, модель продемонстрировала высокую способность к его распознаванию без существенного переобучения на мажоритарных классах.
Получены следующие значения метрик качества:
Полученные значения точности обучения ИНС
Выборка | Средняя точность | Максимальная точность |
обучающая | 0,958 | 0,967 |
проверочная | 0,912 | 0,921 |
Матрицы рассеяния для базового варианта на обучающей и проверочной выборках представлены на рис. 4.
Матрицы рассеяния для базового варианта:
а) на обучающей выборке; b) на проверочной выборке
4. Обсуждение
Анализ матриц рассеяния показал, что предложенная комбинированная архитектура успешно справляется с задачей мультиклассового распознавания плотных сцен, что согласуется с данными мировых исследований, отмечающих превосходство CNN над традиционными методами в задачах выявления стрессовых состояний растений
, , . В частности, полученные результаты сопоставимы с точностью моделей VGG16 и ResNet50 при классификации болезней сельскохозяйственных культур (92…97% ), однако достигнуты при существенно меньших вычислительных затратах, что критично для развертывания на мобильных платформах , , .Представляются целесообразными следующие научные направления продолжения исследований:
- расширение датасета за счет аугментации и балансировки классов для повышения робастности модели на минорных классах агрономических аномалий .
- усиление архитектуры за счет трансфера обучения (Transfer Learning) с использованием предобученных сетей (VGG16, ResNet50, MobileNet);
- количественная оценка уверенности модели с применением метрик Maximum Softmax Probability (MSP), Mutual Information (MI) и энтропии распределения вероятностей:
где низкие значения энтропии указывают на высокую уверенность нейросети, что критично для принятия агрономических решений в режиме реального времени
, .5. Заключение
1. Разработана и математически обоснована архитектура комбинированной нейронной сети, включающей 14 функциональных слоёв (блоки нормализации, свёртки, подвыборки и регуляризации), которая успешно решает задачу мультиклассовой классификации цветных изображений характерных участков сельскохозяйственных полей с общим числом обучаемых параметров 43⋅106.
2. Научная гипотеза подтверждена, при этом применение детерминированного метода инициализации весов (формулы (11) и (12)), математически согласованного с полулинейной функцией активации ReLU, позволило:
- аналитически нивелировать влияние стохастичности начальных параметров;
- исключить попадание траектории градиентного спуска в локальные минимумы целевой функции;
- обеспечить высокую точность (0.912 на проверочной выборке) при работе с несбалансированным датасетом, включая сложную диагностику минорного класса «Дефицит питательных веществ».
3. Результаты исследования могут быть использованы для построения нейросетевых моделей, ориентированных на мобильные киберфизические системы и БПЛА. Разработанная архитектура обеспечивает высокую точность при ограниченных вычислительных ресурсах, что критично для систем точного земледелия реального времени.