Return to article
АРХИТЕКТУРНОЕ ОБОСНОВАНИЕ И ПИЛОТНАЯ ОЦЕНКА МОДИФИЦИРОВАННОГО HTR-МОДУЛЯ ДЛЯ РАСПОЗНАВАНИЯ ПЛОТНЫХ РУКОПИСНЫХ МЕДИЦИНСКИХ ПОЛЕЙ
Основные гиперпараметры обучения исследуемых конфигураций модели
* – в отличие от оптимизированной модели в стандартной модели не применялась аугментация
Конфигурация модели | Dropout (метод регуляризации) | Learning Rate (скорость обучения) | Warmup epochs (число эпох прогрева) | Weight decay (квадратичная регуляризация весов) | Early Stoppin (ранняя остановка) |
Стандартная модель* | 0,1 | 10-4 общая для всей модели
| отсутствует | 10-4 | не реализована |
Оптимизированная модель | 0,3 | 5∙10-5 для backbone; 2∙10-4 для «голов Transformer
| 3 эпохи | 10-4 | 7 эпох |