1. Введение
Обучение глубоких нейронных сетей фундаментально сводится к задаче минимизации эмпирического риска в сложных, многомерных и невыпуклых пространствах
[1][2]
Тем не менее, методы первого порядка обладают серьезным математическим ограничением: они опираются исключительно на локальную информацию о градиенте, оставаясь «слепыми» к кривизне второго порядка ландшафта функции потерь
[3][4, С. 61][4, С. 62][5]
Адаптивные методы, такие как Adam, пытаются решить эту проблему, независимо масштабируя скорость обучения для каждого параметра на основе скользящих средних градиента. Однако они неявно полагаются на диагональную аппроксимацию матрицы кривизны
[2][4, С. 63][6]
Для полноценного учета геометрии пространства применяются методы второго порядка, использующие матрицу Гессе. Классический метод Ньютона нормирует кривизну по всем направлениям, умножая градиент на обратную матрицу Гессе [7, С. 48]. Однако он нестабилен при отрицательной кривизне (в седловых точках) и требует кубических вычислительных затрат [8, С. 736]
В качестве математически обоснованной альтернативы выступает метод экспоненциальной релаксации (ЭР), корни которого лежат в теории жестких обыкновенных дифференциальных уравнений
[9, С. 2][10, С. 25][11, С. 232]
Цель данного исследования — провести строгую оценку эффективности метода экспоненциальной релаксации при обучении нейронных сетей на задачах с выраженной плохой обусловленностью и мультиколлинеарностью. В ходе сравнительного анализа с алгоритмами первого порядка будут определены топологические условия, в которых ЭР демонстрирует наибольшее преимущество, а также рассмотрены перспективы его масштабирования с помощью безгессиановых методов (Hessian-Free)
[8]
2. Методы исследования
Нейронная сеть представляет собой параметризованную функцию
Обучение сводится к итеративному обновлению весов
[12, С. 200]
Сложность оптимизации напрямую зависит от спектра собственных значений матрицы Гессе
Если κ(
[13][4, С. 61][4, С. 62]
Чтобы преодолеть ограничения градиентного спуска, метод ЭР использует специальную масштабирующую матрицу, выведенную из дифференциального уравнения наискорейшего спуска – непрерывного аналога градиентных методов, подробно исследованного в литературе по компьютерным методам оптимизации
[14, С. 145][11, С. 232]
где
[11, С. 232]
Для каждого собственного значения
Эта функция обеспечивает идеальный баланс:
1. При большой кривизне (
2. При малой кривизне (
3. При отрицательной кривизне (
[11, С. 235]
В рамках данного исследования ЭР реализован через точное спектральное разложение матрицы Гессе. На каждой итерации матрица
Для предотвращения вычислительной неустойчивости (деления на нуль) при |
[11, С. 240]
Для тестирования были использованы как классические аналитические функции, так и архитектуры нейронных сетей на реальных данных. Сравнение проводилось с методами SGD и Adam.
1.
2. [12, С. 89]
3. [15]
4.
5. [16, С. 15]
3. Основные результаты
На функции Розенброка метод ЭР благодаря матричной экспоненте динамически адаптировал шаг и быстро достиг глобального минимума, двигаясь вдоль искривленного дна. В то же время SGD и Adam продемонстрировали сильное заклинивание, тратя итерации на бесполезные колебания между крутыми стенами (см. рис. 1).
Сходимость методов на функции Розенброка
[4, С. 65]
Сходимость методов на ступенчатой функции
На задаче с числом обусловленности 2000 тестировалась способность алгоритмов найти точные физические веса (целевые значения W=[2,0, -1,5, 0,5]) (см. табл. 1).
Результаты восстановления параметров в синтетическом овраге
| Метод | MSE Loss | Дистанция до оптимума | Итерации | Полученные веса |
| SGD | 3,84×10-6Missing Mark : sup | 5,66×100Missing Mark : sup | 500 | [-2,089, 2,405, 0,500] |
| Adam | 3,84×10-6Missing Mark : sup | 5,66×100Missing Mark : sup | 500 | [-2,091, 2,406, 0,500] |
| Метод ЭР | 3,40×10-8Missing Mark : sup | 5,20×10-1Missing Mark : sup | 100 | [1,624, -1,140, 0,500] |
Хотя функции потерь у SGD и Adam упали до 10-6Missing Mark : sup, алгоритмы остановились далеко от истинных весов (дистанция 5,66). Диагональная аппроксимация Adam не смогла распутать ковариацию признаков. ЭР, используя полную матрицу Гессе, сократил дистанцию до оптимума на порядок всего за 100 итераций.
В задаче бинарной классификации на наборе данных Breast Cancer исследовалась проблема естественной геометрической жесткости. Набор данных Breast Cancer содержит признаки с корреляцией ≈0,998, что формирует в пространстве потерь вырожденный желоб
[15]
Результаты обучения на задаче классификации
| Метод | Итоговая ошибка (Loss) |
| SGD | 0,6884 |
| Adam | 0,3545 |
| Метод ЭР | 0,0455 |
Сходимость методов при обучении на медицинских данных
Для исследования поведения алгоритмов оптимизации в условиях архитектурных узких мест (bottlenecks) была смоделирована задача восстановления данных с использованием автоэнкодера с околонулевой инициализацией
[19]
Результаты обучения на задаче автоэнкодера
| Метод | Ошибка реконструкции |
| SGD | 0,9999 |
| Adam | 0,8058 |
| Метод ЭР | 0,7506 |
Сходимость на задаче автоэнкодера
В качестве задачи регрессии, имитирующей физические обратные задачи с сильной мультиколлинеарностью, использовался набор данных по гидродинамике яхт (Yacht Hydrodynamics). Модели необходимо было предсказать физическое сопротивление корпуса на основе шести параметров геометрии и числа Фруда. Архитектура представляла собой однослойную сеть, однако перед подачей на вход исходные признаки подвергались полиномиальному расширению второй степени (включая квадраты и попарные произведения), а целевая переменная сопротивления масштабировалась в диапазон гиперболического тангенса. Механизм возникновения экстремальной овражности здесь напрямую вытекал из полиномиального преобразования: перемножение близких по смыслу физических параметров порождает искусственную, но мощнейшую мультиколлинеарность. Матрица ковариации входных сигналов становится практически вырожденной, что приводит к формированию матрицы Гессе с множеством исчезающе малых собственных значений. В результате возникает матрица кривизны, стремящаяся к вырождению (сравнение методов приведено в табл. 4). В условиях такого вырожденного спектра метод Adam даже за несколько сотен итераций достигает лишь умеренной точности, постоянно осциллируя вокруг оптимума. Алгоритм ЭР, динамически обрабатывая малые собственные значения матрицы Гессе через предел функции релаксации, полностью обратил физический оператор всего за несколько десятков шагов, обеспечив падение среднеквадратичной ошибки до машинного нуля (см. рис. 5). Это делает его идеальным инструментом для физически-информированных нейросетей (PINN)
[17]
Сравнение оптимизаторов на задаче регрессии
| Метод | Итерации | Итоговая ошибка (Loss) |
| SGD | 100 | 9,2026⋅10-3Missing Mark : sup |
| Adam | 100 | 2,0833⋅10-2Missing Mark : sup |
| ER | 30 | 3,6970⋅10-3Missing Mark : sup |
Сходимость оптимизаторов на задаче регрессии
Несмотря на подавляющее преимущество в качестве сходимости, точная реализация ЭР требует вычисления матрицы вторых производных и ее спектрального разложения на каждом шаге. Это дает кубическую вычислительную сложность O(
[8, С. 737][8, С. 738][18]
4. Обсуждение
Полученные эмпирические результаты наглядно демонстрируют фундаментальные ограничения методов оптимизации первого порядка и адаптивных алгоритмов (SGD, Adam) в условиях патологической кривизны ландшафта потерь. В задачах с сильно коррелированными признаками (таких как набор данных Breast Cancer) и синтетических оврагах с числом обусловленности κ(
[6][2][3][11, С. 242][17][8, С. 737][18]
5. Заключение
Обучение глубоких нейронных сетей фундаментально зависит от способности алгоритмов оптимизации эффективно минимизировать невыпуклые функционалы эмпирического риска. В данной работе была проведена строгая оценка метода экспоненциальной релаксации (ЭР) как альтернативы популярным стохастическим методам первого порядка (SGD, Adam). Поставленная цель исследования полностью достигнута: мы теоретически обосновали и эмпирически доказали, что в условиях патологической кривизны, мультиколлинеарности признаков и наличия седловых точек метод ЭР демонстрирует абсолютное превосходство. Динамическое масштабирование шага на основе непрерывной функции от кривизны пространства позволяет методу ЭР успешно сходиться в вытянутых и повернутых оврагах, избегая высокочастотных осцилляций и стагнации. В задачах точного восстановления физических параметров, деконволюции сигналов и классификации высококоррелированных медицинских данных алгоритм второго порядка достигает оптимальных состояний за гораздо меньшее число итераций. Хотя вычислительная стоимость ограничивает применение неоптимизированных подходов вычисления шага метода в сверхбольших архитектурах нейросетей, метод экспоненциальной релаксации уже сегодня является незаменимым инструментом для решения обратных физических задач, тренировки физически-информированных нейросетей (PINN) и оптимизации компактных систем управления. Переход к проекционным алгоритмам и адаптивным стратегиям аппроксимации кривизны является ключевым вектором для дальнейших исследований, который в перспективе позволит внедрить механизмы матричной экспоненты в повседневную практику масштабируемого глубокого обучения.