Регуляризация и индуктивное смещение механизмов самовнимания в гибридных нейронных сетях для классификации в компьютерном зрении с использованием штрафа на основе энтропии Цаллиса
Таблица 1 - Полное пространство поиска гиперпараметров
Гиперпараметр | Тип | Диапазон / Значения | Описание |
lr | float (логарифмический) | 5e-5 – 1e-3 | Скорость обучения |
batch_size | категориальный выбор | 32 / 64 / 128 | Число примеров в 1 шаге оптимизации |
weight_decay | категориальный выбор | 0 / 1e-4 / 1e-3 / 1e-2 | Корректная L2 регуляризация встроенная в оптимизатор AdamW |
dropout | категориальный выбор | 0 / 0,1 / 0,2 / 0,3 / 0,4 / 0,5 | Вероятность зануления нейронов в блоках трансформеров во время обучения |
tsallis_q | float | 0,2 – 4,0 | Параметр деформации. Инструмент, позволяющий учитывать неэкстенсивность энтропии, определяющий её чувствительность к малым или большим вероятностям. |
entropy_target | float | 0,0 – 1,0 | Целевой уровень энтропии. Нормализован в диапазон [0; 1] делением на максимально возможный уровень энтропии для заданной длины последовательности |
penalty_weight | float | 1,0 – 500,0 | Вес штрафа. Определяет относительную силу штрафа в сравнении с основной функцией потерь. Размеры градиентов зависят не только от веса, но и от производных, поэтому значение равное 1 не обязательно вносит сопоставимый вклад с основной функцией потерь и его нужно подбирать в широком диапазоне. |