1. Введение

Несмотря на то, что концепция механизмов внимания была известна ранее как вспомогательный инструмент для рекуррентных моделей, работа А. Васвани и соавторов

[1]

Используемый в исследовании подход реализует механизм осознанного (структурного) контроля информационных потоков. Предлагается использование штрафа на основе энтропии Цаллиса для промежуточных слоёв нейросети, который, как предполагается, должен внести в трансформерную модель большую степень регуляризации, а также добавить дополнительное индуктивное смещение на основе понимания требуемой энтропии распределений весов самовнимания, в конкретной форме, выведенной из обобщённой энтропии Цаллиса

[2]

Данное направление в методах регуляризации нейросетей привлекает внимание в последнее время. Различные исследования, используют контроль энтропии в своих целях

[3][4][5]

Помимо сравнения изменения точности моделей с добавлением штрафа, в ходе эксперимента также будет наблюдаться оптимальное по итогам оптимизации значение параметра деформации q в формуле энтропии Цаллиса, определяющего степень деформации (неэкстенсивности) системы, который и отличает её от энтропии Шеннона.

2. Методы и принципы исследования

В эксперименте используются две гибридные архитектуры, сочетающие сверточные слои и механизмы самовнимания (Self-Attention). Модели различаются масштабом, то есть количеством обучаемых параметров, что позволяет оценить универсальность предлагаемого метода: модель 1 содержит около 940 тыс. параметров, модель 2 — около 5 млн параметров. Обе архитектуры имеют последовательную иерархическую структуру, состоящую из классических основных компонентов.

Сверточный экстрактор признаков включает три последовательных блока. Каждый блок увеличивает глубину каналов и уменьшает пространственное разрешение в два раза. Это позволяет сформировать компактные и информативные локальные признаки перед подачей в трансформерную часть. Сверточный экстрактор обладает явным индуктивным смещением, характерным для сверточных слоев.

CLS-токен представляет собой обучаемый токен, который конкатенируется с последовательностью признаков, приведённой к виду [batch, seq_len, emb_dim], для сбора общей информации об изображении.

Позиционные эмбеддинги представляют собой обучаемые векторы, суммируемые с последовательностью признаков перед трансформерной частью для добавления позиционной информации.

Трансформерный стек состоит из четырех блоков трансформера для модели 1 и из шести блоков трансформера для модели 2. Реализация включает стандартные механизмы многоголового самовнимания и полносвязные блоки. Архитектура модифицирована для извлечения матриц внимания после операции Softmax, что необходимо для вычисления штрафа на основе энтропии Цаллиса с сохранением графа вычислений для обратного распространения ошибки. Введение штрафа на основе энтропии Цаллиса выступает в роли регуляризующего индуктивного смещения, накладывающего структурные ограничения на распределение весов внимания. Длина векторов признаков, определяемая выходом сверточных экстракторов, составляет 128 и 256 для малой и большей модели соответственно.

Полносвязный классификатор принимает CLS-токен с агрегированной информацией об изображении и выдает 10 логитов для последующего вычисления кросс-энтропии.

В сверточной части используется групповая нормализация (GroupNorm) вместо BatchNorm для обеспечения стабильности при малых размерах батча. В трансформерной части и классификаторе применяется нормализация по слою (LayerNorm). В качестве функций активации во всех слоях используется GELU, что соответствует стандартному выбору для многих трансформерных архитектур.

В ходе исследования использовался набор данных Imagenette2-160 (версия 2020 года). Данный датасет представляет собой сбалансированную выборку из 10 классов ImageNet (tench, English springer, cassette player, chain saw, church, French horn, garbage truck, gas pump, golf ball, parachute). Выбор данного набора обусловлен необходимостью проведения большого количества итераций обучения (в рамках оптимизации гиперпараметров) при сохранении сложности реальных фотографических данных.

Изображения имеют фиксированный размер 160 px по меньшей стороне. Перед подачей в модель все изображения приводились к строгому разрешению 160x160 пикселей с использованием метода Resize библиотеки torchvision.transforms.

Структура выборки: В работе использовано современное разбиение (split), обеспечивающее высокую статистическую значимость оценки работы модели:

— Обучающая выборка: 9 469 изображений.

— Валидационная выборка: 3 925 изображений.

Ключевой особенностью предлагаемого метода является модификация функции потерь за счет добавления регуляризационного члена RTsallisMissing Mark : sub, воздействующего на распределение весов в матрицах самовнимания. В отличие от стандартных подходов, данный метод минимизирует отклонение текущей энтропии распределений внимания от заданного целевого значения HtargetMissing Mark : sub.

Энтропия Цаллиса вычисляется для каждого распределения внимания, соответствующего отдельной голове и каждому токену-запросу, и затем агрегируется по всем головам и слоям модели. Тем самым вводится индуктивное смещение, направленное на контроль степени концентрации информационных потоков в механизме самовнимания

Вид штрафа (формулы 1 и 2):

Для обеспечения численной стабильности при q ≈ 1 (в диапазоне 0.95–1.05) используется энтропия Шеннона, являющаяся частным случаем энтропии Цаллиса:

где:

piMissing Mark : sub — веса самовнимания для каждого токена;

q — параметр деформации, определяющий чувствительность меры к форме распределения.

При близости q к 1, подобное изменение формулы позволяет избегать операций с очень маленькими или очень большими числами из-за близости знаменателя к 0, что важно при использовании смешанной точности для ускорения на современных видеокартах, так как это уменьшает численные нестабильности/погрешности во время обучения.

Регуляризационный член функции потерь определяется как квадратичное отклонение нормированной энтропии от целевого уровня:

p — веса внимания для каждого токена;

q — параметр деформации, определяющий степень концентрации или разреженности внимания;

λ — вес штрафа;

SqMissing Mark : sub(P) — используемая энтропия;

Smax Missing Mark : sup— максимально возможная энтропия для данной длины последовательности n.

Формула Smax Missing Mark : supдля нормализации энтропии выглядит как

Итоговая функция эта сумма кросс-энтропии (10 классов) и введённого регуляризационного члена:

L — общая функция потерь;

LCEMissing Mark : sub — функция потерь кросс энтропии;

RTsallis Missing Mark : sub— энтропийный штраф.

Процесс оценки эффективности предложенного метода разделен на два последовательных этапа.

1. Оптимизация гиперпараметров.

Для каждой из четырех конфигураций (Модель 1 и Модель 2 в вариантах со штрафом и без него) проводился поиск оптимальных гиперпараметров с помощью фреймворка Optuna. Использовалась байесовская оптимизация (TPE sampler

multivariate

Для базовых моделей (без штрафа) пространство поиска включало 4 гиперпараметра (lr, batch_size, weight_decay, dropout). Вычислительный бюджет составил 100 проб (trials) с 20 случайными пробами в начале, чего должно быть достаточно для нахождения субоптимальных значений в пространстве низкой размерности.

Для моделей с регуляризацией Цаллиса количество оптимизируемых параметров увеличилось до 7. Дополнительно подбирались tsallis_q, entropy_target и penalty_weight (см. таблицу «Полное пространство поиска гиперпараметров»). Вычислительный бюджет остался в рамках 100 проб (trials)

Стоит отметить, что несмотря на равенство в бюджете, сложность поиска растёт комбинаторно от числа параметров т.е. для исследования пространства поиска с регуляризацией на основе энтропии Цаллиса, сложность подбора гиперпараметров с помощью Optuna значительно выше, чем для стандартного обучения. Существует априорное смещение в пользу базовых моделей из-за большей сложности подбора гиперпараметров в пространстве с дополнительными размерностями, что делает любые положительные результаты регуляризации Цаллиса статистически более значимыми. В том числе, это связано с увеличением числа возможных двойных или тройных взаимодействий в 21/6 = 3,5 раза и 35/4 = 8,75 раз соответственно, учёт которых или выделение алгоритмом отсутствия связи между которыми занимает большее число trials.

Прочие условия обучения также были равны для всех моделей и основаны на общепринятых правилах или достаточны для данной задачи: косинусное расписание скорости обучения (learning rate), максимум 100 эпох для обучения, а также ранняя остановка при отсутствии какого-либо увеличения валидационной точности в течение 6 эпох подряд.

С целью анализа данных, собранных во время работы с Optuna и для защиты от их потери в случае прерывания обучения, Optuna сохраняла все результаты запусков в базе данных Architectures_optimization.db с 4 study - исследованиями 4 вариантов обучения (2 модели с/без штрафа).

2. Сбор статистических данных.

Для исключения влияния фактора случайности при инициализации весов, лучшие конфигурации, найденные на этапе оптимизации, обучались повторно. Для каждого из 4 случаев было проведено по 10 запусков с использованием различных значений случайного начального состояния (seed) для всех используемых компонентов. На основе полученных результатов рассчитывались:

— средняя точность;

— стандартное отклонение.

Эти данные собирались в соответствующие .csv файлы и на их основе были рассчитаны статистическая значимость и сила эффекта.

3. Основные результаты

Optuna: Лучшие подобранные данные за 100 проб с байесовской оптимизацией, а также их оцененная сила влияния.

1. Архитектура 1.

Без штрафа:

— lr: 0.0007609;

— batch_size: 64;

— weight_decay: 0.001;

— dropout: 0.2;

— Точность на валидации: 0.7259.

Со штрафом:

— lr: 0.0006563;

— batch_size: 64;

— weight_decay: 0.01;

— dropout: 0.5;

— tsallis_q: 0.934;

— entropy_target: 0.743;

— penalty_weight: 16.56;

— Точность на валидации: 0.7455.

2. Архитектура 2.

Без штрафа:

— lr:

0.0001536;

— batch_size: 32;

— weight_decay:

0.01;

— dropout: 0.3;

— Точность на валидации: 0.7154.

Со штрафом:

— lr: 0.0008381;

— batch_size: 128;

— weight_decay: 0.001;

— dropout: 0.3;

— tsallis_q: 1.466;

— entropy_target: 0.974;

— penalty_weight: 71.26;

— Точность на валидации: 0.7434.

В dashboard Optuna функция fANOVA показывает, что вклад гиперпараметров, связанных со штрафом при его добавлении, превышает 50%. Следует отметить, что все оценки fANOVA являются стохастическими и могут немного меняться между запусками, поскольку процесс сэмплирования случаен и на этапе поиска гиперпараметров использовались ускоряющие оптимизации, которые дают значимый прирост, но нарушают детерминированность.

Статистический анализ при разных seed представлен в таблице ниже.

4. Обсуждение

Модель с большим числом параметров оказалась слишком сложной для имеющегося датасета и задачи и показала худшие результаты, однако также показала большее улучшение точности с добавлением штрафа, что говорит о возможно большем уровне регуляризации при его добавлении. Разница же между моделями с и без штрафа была статистически значимой (p < 0,001) и обладала очень большим размером эффекта (Cohen’s d ≈ 2,9–4). Стоит также отметить, что улучшение в 3-4% при небольшом размере датасета является крайне значимым и в машинном обучении в целом, а не только относительно разброса при разном seed.

Параметр деформации q, в свою очередь, оказался вариативен и принял разные значения, меньше для малой модели и больше для большей, что привело к разнице в том числе по целевому уровню энтропии и весу штрафа. Причины подобной неоднородности требуют дальнейших исследований.

Также стоит ещё раз отметить, что разница в размерах пространств при одинаковом числе trials создавала ограничения для подбора и с большими вычислительными бюджетами для больших пространств результаты от добавления штрафа могли быть ещё более выраженными.

5. Заключение

В ходе исследования было установлено, что добавление энтропийного штрафа к трансформерной части приводит к увеличению top-1 accuracy (точности на валидационной выборке) гибридной нейросети в среднем на 3–4% по сравнению с базовой моделью без энтропийной регуляризации. Полученный эффект находится в диапазоне улучшений, характерных для ряда стандартных методов регуляризации, таких как dropout и L2-регуляризация, однако в рамках проведённого эксперимента действует аддитивно поверх них.

Анализ влияния параметра деформации q показал, что как значения ниже 1, так и существенно выше 1 могут приводить к достижению лучшего качества по итогам байесовской оптимизации, что может указывать на чувствительность предложенного подхода к форме используемой энтропии и необходимость дальнейшего исследования роли энтропии Цаллиса в сравнении с предельным случаем Шеннона при q стремящимся к 1.

Полученные результаты позволяют обоснованно предположить, что энтропийная регуляризация может быть эффективным дополнением к стандартным методам регуляризации, не требующим существенного увеличения вычислительных затрат на подбор гиперпараметров. Однако для подтверждения универсальности подхода необходимы дополнительные исследования на других архитектурах и задачах компьютерного зрения.

The additional file for this article can be found as follows: