АРХИТЕКТУРНОЕ ОБОСНОВАНИЕ И ПИЛОТНАЯ ОЦЕНКА МОДИФИЦИРОВАННОГО HTR-МОДУЛЯ ДЛЯ РАСПОЗНАВАНИЯ ПЛОТНЫХ РУКОПИСНЫХ МЕДИЦИНСКИХ ПОЛЕЙ

Существующие универсальные решения оптического распознавания символов демонстрируют недостаточную точность при работе с рукописными медицинскими текстами: специфическая профессиональная лексика, латинские термины, аббревиатуры и неоднородное качество исходных изображений существенно снижают качество распознавания. Отсутствие предметно-адаптированных инструментов вынуждает операторов выполнять фактически полный ручной ввод данных, не получая от систем распознавания практической пользы.

Актуальность настоящей работы определяется необходимостью разработки специализированной интеллектуальной системы MedForm-HTR (рисунок 1) в виде конвейера, ориентированного на распознавание рукописных медицинских документов с применением технологий HTR (Handwritten Text Recognition). Приоритетной предметной областью MedForm-HTR являются карты вызовов бригады скорой медицинской помощи (СМП) с последующим применением системы для обработки других медицинских форм. При суточном объёме в 1,5–2,0 тыс. вызовов бригад скорой медицинской помощи для медицинских подразделений среднего города, трудозатраты на обработку карт вызова СМП очень значительные, учитывая, что на ввод одного документа в реестр приходится от нескольких до десятков минут в зависимости от объёма и разборчивости почерка.

Целью работы является обоснование и пилотная оценка нейросетевой архитектуры CNN — Transformer Encoder — CTC в качестве кандидатной линии модуля MedForm‑HTR для распознавания рукописных полей, включая карты вызова СМП. Ключевым этапом в работе выступает аналитическое и экспериментальное подтверждение адаптации CNN‑блока на базе ResNet18 под CTC‑HTR, так как именно этот блок во многом определяет уровень точности и практическую применимость архитектуры.

Рисунок 1 - Диаграмма контекста разрабатываемого конвейера MedForm-HTR

DOI:10.60797/IRJ.2026.171.59.1

Открыть в полном размереСкачать рисунок

Карта вызовов СМП представляет собой учетную форму №110/у, утвержденную Приказом Министерства здравоохранения и социального развития Российской Федерации от 02.12.2009 №942 (рисунок 2). Документ содержит десятки структурированных полей, в том числе данные о пациенте, время и адрес вызова, диагноз по МКБ-10, применённые лекарственные средства и дозировки, а также отметки о транспортировке и передаче пациента. Карта вызова СМП является типичным представителем широкого класса первичной медицинской документации и характеризует такие ключевые проблемы предметной области, как высокая вариативность почерка, смешанный текст (прописной и печатный), содержание на нескольких языках, а также необходимость обеспечения юридической и клинической значимости данных.

Рисунок 2 - Обезличенная карта вызовов скорой медицинской помощи

DOI:10.60797/IRJ.2026.171.59.2

Открыть в полном размереСкачать рисунок

Общеизвестно, что в практике машинного обучения практически невозможно обучение моделей без качественно подготовленных данных, соответственно допущенные при этом ошибки влияют на эффективность функционирования самих алгоритмов. Необходимо отметить, что при тиражировании карт вызовов СМП используется формат бумаги А5, из-за чего высота поля одной строки составляет всего 3 мм, что обуславливает чрезмерное уплотнение рукописного текста и, соответственно, снижает качество распознавания.

Карта вызовов СМП состоит из 37 полей, около 70% которых заполняются рукописным текстом, остальные поля представлены чекбоксами и стандартными подчеркиваниями (таблица 1). В MedForm-HTR чекбоксы могут обрабатываться отдельным простым классификатором ОМR (Optical Mark Recognition), в связи с чем они были исключены из задачи HTR.

HTR-модель должна быть устойчивой к вариативности исходных изображений: различным почеркам врачей, бледным или размытым сканам, наклону текста, пересечению рукописи с линиями бланка, исправлениям. Следовательно, выбранная архитектура должна допускать применение процедур доменного дообучения, регуляризации и аугментации данных, направленных на повышение устойчивости модели к реальным условиям эксплуатации. Кроме этого, модель должна обеспечивать контролируемый характер распознавания, особенно для значимых полей, где ошибка в одном символе или цифре может приводить к искажению клинического смысла. Поэтому результаты работы HTR-модуля должны оцениваться не только по средним текстовым метрикам, но и по метрикам полного совпадения поля, точности числовых значений и объёму последующей операторской правки.

Эволюция современных методов HTR демонстрирует переход от изолированного посимвольного анализа к сквозным (End-to-End) гибридным глубоким нейросетевым архитектурам

С учетом вышеназванных требований были рассмотрены основные гибридные нейросетевые архитектуры, имеющие потенциальную возможность работать со смешанными гетерогенными текстами (таблица 2).

На основании проведенного анализа в настоящей работе в качестве базовой архитектурной линии рассматривается гибридная модель CNN-Transformer Encoder-CTC. Семейство CNN-Transformer Encoder-CTC является перспективным для HTR, поскольку объединяет локальную визуальную экстракцию CNN, глобальное контекстное моделирование Transformer Encoder (TE) и CTC-обучение без посимвольного выравнивания

Свёрточная часть архитектуры (CNN-фронтенд) используется для извлечения локальных визуальных признаков рукописного текста: штрихов, петель, соединений букв, наклона и толщины линии. TE (первая ключевая часть архитектуры трансформера) применяется для контекстного моделирования полученной последовательности признаков вдоль оси письма. В отличие от рекуррентных блоков, TE позволяет учитывать более широкий контекст и выполнять обработку последовательности параллельно

Таким образом, выбранная архитектурная линия сочетает три свойства, важные для MedForm-HTR: локальную чувствительность CNN к графемным признакам, контекстное моделирование TE и возможность обучения без посимвольного выравнивания за счёт CTC. В статье исследуется архитектура ResNet18-TE-CTC с модификацией горизонтального downsampling в ResNet18. Такой дизайн позволяет определить влияние исследуемого фактора на CTC-распознавание.

Учитывая вышесказанное, в работе рассматриваются две конфигурации одной архитектурной линии: стандартная ResNet18-TE-CTC, используемая как контрольный вариант, и модифицированная ResNet18-TE-CTC, в которой в третьем сверточном слое (layer3) и в четвертом сверточном слое (layer4) горизонтальный шаг свертки (stride) заменяется с 2 на 1. Сохранение горизонтальной структуры признаковой карты является распространённым принципом проектирования специализированных HTR-архитектур

Сравнение различных CNN-backbone, включая, например, VGG-like, VGG-11, VGG-19, ConvNeXt и TrOCR, а также VAN выходит за рамки данной работы. В настоящей статье рассматривается архитектурная линия ResNet18-TE-CTC с экспериментальной вариацией геометрии горизонтального downsampling.

Специфика распознавания рукописных документов накладывает жесткие ограничения на геометрию извлекаемых признаков. Это приводит к повышенной плотности информационных элементов на единицу длины горизонтальной оси W. Соответственно в классической архитектуре ResNet18 последовательное применение слоев Layer 3 и Layer 4 c двумерным шагом свертки stride = (2,2) приводит к изотропному сжатию пространственных размерностей входного тензора признаков:

обуславливая уменьшение его разрешения в k раз по обеим осям с генерацией тензора

Для плотного и вариативного рукописного текста свертка с параметром stridex = 2 по горизонтальной оси может быть критичной, обуславливая избыточную субдискретизацию графем и связок с их необратимым смешением в рамках одного и того же вектора признаков. Учитывая возможность такого отклика в предлагаемой архитектуре MedForm-HTR в модуле ResNet18 Layer 3 и Layer 4 были модифицированы путем перехода к анизатропному шагу свертки: stride = (2,1). Это позволяет сохранить исходную дискретизацию по горизонтальной оси, формируя тензор признаков:

Последующая операция вертикального пулинга трансформирует данный тензор в последовательность токенов для модуля TE, которые, в свою очередь, должны влиять на последовательность временных шагов Т, увеличивая пространственную дискретизацию вдоль оси написания текста и, соответственно, влиять на качество последующего CTC-распознавания. Данное влияние проявляется не напрямую, а через изменение геометрии карты признаков, поступающей из ResNet18 в TE и далее в CTC-блок.

Действительно, пусть

Win — исходная ширина изображения рукописного поля;

rx — суммарный коэффициент горизонтального сжатия сверточного фронтенда;

T — длина последовательности визуальных признаков, поступающей в TE и CTC-блок.

Тогда приближенно можно записать:

То есть чем больше суммарное горизонтальное сжатие rx, тем меньше временных шагов T получает CTC-блок. В стандартной конфигурации ResNet18 поздние блоки Layer 3 и Layer 4 уменьшают горизонтальное разрешение карты признаков. При замене горизонтального stride в этих блоках с 2 на 1 суммарное горизонтальное сжатие уменьшается, поэтому длина выходной последовательности признаков возрастает.

Это можно записать так:

Tmod > Tstd

где:

Tstd — длина последовательности признаков в стандартной архитектуре ResNet18;

Tmod — длина последовательности признаков после модификации stride в Layer 3 и Layer 4.

Для CTC-декодирования увеличение T имеет принципиальное значение. Если целевая транскрипция содержит |Y| символов, то отношение количества символов к количеству временных шагов можно рассматривать как плотность символов на один временной шаг:

где:

ρ — плотность символов на временной шаг;

|Y| — длина правильной текстовой строки в символах;

T — число временных шагов на выходе сверточного фронтенда.

При плотном рукописном заполнении медицинских полей значение ρ в стандартной архитектуре может становиться слишком высоким. Это означает, что на один временной шаг приходится слишком большая часть текстовой информации. В результате возрастает риск слияния соседних графем, пропуска символов и ошибок CTC-выравнивания.

После модификации stride длина последовательности увеличивается:

Tmod > Tstd

Следовательно, плотность символов уменьшается:

ρmod < ρstd

Иными словами, модифицированная архитектура предоставляет CTC-блоку больше временных позиций для размещения символов целевой строки. Это расширяет пространство допустимых CTC-выравниваний и создает более благоприятные условия для корректного сопоставления визуальных признаков с текстовой транскрипцией.

Дополнительно изменение stride влияет на геометрию рецептивного поля сверточного фронтенда. В стандартной конфигурации поздние блоки ResNet18 увеличивают не только размер рецептивного поля, но и эффективный шаг между соседними токенами по горизонтальной оси. В результате один визуальный токен может агрегировать информацию сразу от нескольких соседних рукописных символов. Для плотного медицинского почерка это повышает риск смешения графемных признаков.

В модифицированном варианте горизонтальный эффективный шаг уменьшается, поэтому признаки становятся более локализованными вдоль оси письма. TE получает более детализированную последовательность токенов, а CTC-блок — больше возможностей для построения корректной траектории выравнивания между визуальными признаками и символами.

В обобщенном виде аналитическая цепочка влияния модификации stride может быть представлена следующим образом:

stridex: 2 → 1 в Layer 3 и Layer 4

↓

уменьшается горизонтальное сжатие rx

↓

увеличивается длина последовательности признаков T

↓

уменьшается плотность символов ρ

↓

CTC получает больше допустимых вариантов выравнивания

↓

снижается риск слияния и пропуска графем

↓

может снижаться CTC-Loss

↓

может снижаться CER (Character Error Rate, доля ошибок на уровне символов) и WER (Word Error Rate, доля ошибок на уровне слов).

Данная зависимость не является строгой гарантией улучшения качества для любого входного изображения, поскольку итоговые метрики зависят от обученных параметров модели, качества разметки, вариативности почерка и условий обучения. Однако она формирует аналитически обоснованную гипотезу, которая проверена в данной работе.

Кроме изменения шага сверток была проведена также адаптация ResNet18 под задачу извлечения признаков (а не классификации целых изображений): из оригинальной архитектуры backbone были исключены слои глобального усреднения (global average pooling) и полносвязный слой (fully connected), что позволило передавать пространственные карты признаков напрямую в блок TE и декодировать их с помощью CTC-Loss. Модифицированная архитектура ResNet18-TE-CTC представлена на рисунке 3.

Рисунок 3 - Базовая модифицированная архитектура ResNet18-TE-CTC

DOI:10.60797/IRJ.2026.171.59.5

Открыть в полном размереСкачать рисунок

Экспериментальная часть работы включала два этапа. На первом этапе проводилась проверка стандартной и модифицированной конфигураций HTR-модуля ResNet18-TE-CTC на открытом кириллическом рукописном датасете HKR. Целью данного этапа была оценка влияния сохранения горизонтального разрешения в ResNet18-фронтенде на качество CTC-распознавания рукописного кириллического текста.

На втором этапе планировалась пилотная проверка точности распознавания лучшей конфигурации модели на обезличенных фрагментах полей карт вызова СМП. Данный этап рассматривался как предварительная оценка переносимости архитектурной модификации на целевой медицинский домен, характеризующийся высокой плотностью рукописного текста, медицинскими сокращениями и числовыми клиническими показателями.

В настоящем разделе основное внимание уделяется первому этапу эксперимента, поскольку именно на нём проверялась базовая архитектурная гипотеза: уменьшение горизонтального сжатия в ResNet18 должно увеличивать длину признаковой последовательности, поступающей в TE и CTC-блок, и тем самым улучшать условия CTC-выравнивания.

2.1. Первый этап исследований. Датасет HKR и подготовка данных

Для первого этапа эксперимента использовался датасет HKR (Handwritten Kazakh and Russian database), содержащий рукописные слова и строки на кириллице. Датасет HKR содержит более 1400 заполненных форм, примерно 63 000 предложений и свыше 715 000 символов, написанных около 200 разными людьми. Слова, формы и строки датасета представляют смесь русского (около 95%) и казахского (около 5%) языков на кириллице. Поскольку целевой областью исследования является русскоязычная медицинская документация, из набора данных были исключены образцы, содержащие специфические казахские символы. Это позволило сформировать русскоязычный кириллический поднабор, более близкий к будущей задаче распознавания карт вызова СМП (таблица 3). В эксперименте использовались строки, содержащие отдельные словосочетания (word-level) датасета HKR. Такой выбор позволил сосредоточиться именно на задаче HTR-распознавания рукописного фрагмента, не смешивая её с отдельной задачей сегментации строк, полей или страниц. Полные изображения форм HKR на данном этапе не использовались.

Для всех запусков эксперимента применяли единое разбиение датасета на обучающую, валидационную и тестовую выборки. Это было необходимо для корректного сравнения стандартной и модифицированной конфигураций модели. Обучающая выборка применялась для оптимизации параметров модели, валидационная — для контроля сходимости и выбора лучшего сохраненного состояния модели (checkpoint), тестовая — для финальной оценки качества распознавания.

Предварительная обработка изображений включала перевод в полутоновый формат, масштабирование по высоте с сохранением аспектного соотношения, дополнение до унифицированного размера (padding) по ширине и нормализацию значений пикселей. Для совместимости с ImageNet-инициализированным ResNet18 одноканальные изображения при необходимости дублировались в три канала. Аугментации применялись только к обучающей выборке и не использовались на validation/test, чтобы не искажать оценку качества.

В качестве аугментаций использовались слабые преобразования, сохраняющие читаемость текста: аффинные преобразования, изменение яркости и контраста, слабое размытие, гауссовский шум и эластическая деформация. Все аугментации выполнялись в режиме «на лету» (on-the-fly) при формировании обучающих батчей (рисунок 4).

Рисунок 4 - Пример аугментированных изображений HKR

DOI:10.60797/IRJ.2026.171.59.7

Открыть в полном размереСкачать рисунок

2.1.1. Обучение модели. Результаты тестирования

В эксперименте сравнивались две принципиальные конфигурации модели:

- стандартная ResNet18-TE-CTC (далее «стандарт»);

- модифицированная ResNet18-TE-CTC, в которой в Layer 3 и Layer 4 горизонтальный stride был изменён с 2 на 1 (далее «модифицированная»).

Стандартная модель рассматривалась как контрольная конфигурация, отражающая прямое применение ResNet18-фронтенда к задаче HTR. Модифицированная модель рассматривалась как проверка аналитической гипотезы о необходимости сохранения горизонтального разрешения для CTC-распознавания.

Из классификационной версии ResNet18 были удалены global average pooling и fully connected слой, поскольку в задаче HTR требуется не классификация изображения целиком, а получение пространственной карты признаков. Далее карта признаков преобразовывалась в последовательность токенов вдоль горизонтальной оси изображения и передавалась в Transformer Encoder.

2.1.2. Ключевые метрики измерений

Качество распознавания оценивалось по метрикам CER, WER и Word Exact Match (WEM, доля полностью совпадающих слов). CER использовался как основная метрика, поскольку он отражает долю ошибок на уровне символов и особенно важен для кириллического рукописного текста, где ошибка в одной букве или цифре может существенно изменить значение результата. WER применялась как дополнительная метрика, оценивающая ошибки на уровне целого слова. Для word-level датасета HKR эта метрика позволяет оценить, насколько часто модель ошибается при распознавании всего рукописного слова. Word Exact Match рассчитывался как доля слов, распознанных полностью правильно. Эта метрика является наиболее строгой, поскольку даже одна ошибка в символе делает всё слово неверно распознанным.

2.1.3. Процедура обучения

Обучение моделей проводилось в среде PyTorch. На этапе обучения модель переводилась в режим model.train(), а на этапах валидации и тестирования — в режим model.eval(). При валидации и тестировании вычисление градиентов отключалось, а аугментации не применялись. Для контроля процесса обучения после каждой эпохи фиксировались значения train CTC loss, validation CTC loss, validation CER и validation WER. Лучший checkpoint выбирался по минимальному значению validation CER. Такой критерий был выбран потому, что CER является основной метрикой качества для HTR и более устойчиво отражает посимвольное качество распознавания, чем WER на малых выборках.

Для предотвращения переобучения применялся контроль качества на validation-наборе. Если train loss продолжал снижаться, а validation loss или validation CER переставали улучшаться, это рассматривалось как признак переобучения. Финальная оценка выполнялась на test-наборе только после выбора лучшего checkpoint по validation CER.

Кроме основной модификации, для стандартной модели были выполнены несколько контрольных запусков с изменением параметров обучения и регуляризации. Эти запуски были необходимы для проверки возможности улучшения метрик распознавания в стандартной архитектуре за счёт настройки гиперпараметров без изменения геометрии ResNet18-фронтенда. Изменяемые настройки обучения и диапазон их варьирования показан в таблице 4.

Таким образом, значительное улучшение результатов обучения оптимизированной стандартной модели обусловлено комплексным подходом к настройке гиперпараметров: дифференцированным learning rate для backbone и head, внедрением warmup-периода, усиленной регуляризацией (dropout, weight decay, early stopping) и использованием аугментации данных. Эти изменения позволили достичь более стабильной сходимости и лучшего качества распознавания.

2.1.4. Результаты первого этапа исследований

В ходе настройки стандартной конфигурации ResNet18-TE-CTC качество распознавания на HKR улучшилось более чем на 40%, тем не менее изменение параметров обучения и регуляризации, хотя заметно и повлияло на динамику train loss, validation loss, CER и WER, однако не привело к качественному улучшению итоговой посимвольной точности. Лучшее значение CER для оптимизированной стандартной конфигурации составило 0.18. Это подтвердило предположение о том, что основное ограничение стандартной модели связано не только с настройками оптимизации, но и с геометрией признаковой карты, формируемой ResNet18. При стандартном горизонтальном сжатии выходная последовательность признаков оказывается слишком короткой для CTC-выравнивания плотных рукописных фрагментов.

Далее для ResNet18 были использованы настройки ее оптимизированной стандартной модели (базовая модель) и проведена модификация, заключающаяся в замене горизонтального stride в Layer 3 и Layer 4 с 2 на 1, в связи с чем качество распознавания существенно улучшилось (таблица 5). Таким образом, модифицированная модель достигла CER = 0.053 и по сравнению с базовой моделью относительное снижение CER составило около 70% (рисунок 5, таблица 5).

Динамика контролируемых параметров в процессе обучения базовой и модифицированной моделей

а) функция потерь СТС; б) валидационные значения CER

DOI:10.60797/IRJ.2026.171.59.9

Открыть в полном размереСкачать рисунок

Анализ распознавания моделями тестовой выборки показал сильные стороны и зоны уязвимости модифицированной модели: модель хорошо справляется со сложными и длинными топонимами (написанными капсом или с дефисами), а также с целыми фразами (рисунок 6). Ошибки, которые модель все же допускает, носят локальный характер и связаны с оптическим сходством начертания букв (визуальная двусмысленность) или перекрытием буквами соседних зон других букв (лигатура).

Рисунок 6 - Примеры распознавания из тестовой выборки датасета HKR

DOI:10.60797/IRJ.2026.171.59.11

Открыть в полном размереСкачать рисунок

Таким образом, результаты эксперимента подтвердили сформулированное предположение о том, что чрезмерное горизонтальное сжатие признаковой карты в стандартном ResNet18 ухудшает условия CTC-выравнивания, тогда как сохранение горизонтального разрешения в поздних блоках backbone способствует снижению ошибки распознавания. Модифицированная архитектура формирует более длинную последовательность визуальных признаков вдоль оси письма, что снижает плотность символов на один временной шаг и создаёт более благоприятные условия для CTC-выравнивания. Первый этап исследований подтвердил, что для CTC-HTR важна не только мощность визуального backbone, но и его геометрическая совместимость с задачей последовательного распознавания. Полученные результаты дали все основания продолжить пилотные испытания модифицированной конфигурации ResNet18-TE-CTC на сегментах полей карт СМП.

2.2. Второй этап исследований. Пилотный датасет карт вызовов СМП

Второй этап эксперимента был направлен на оценку эффективности модифицированной архитектуры ResNet18-TE-CTC к доменной адаптации медицинской документации (карты вызовов СМП) и в точности ее распознавания.

Для пилотного датасета было отобрано 630 карт вызовов СМП, которые заполнялись 12 различными бригадами скорой медицинской помощи в среднем в течение 5 рабочих смен каждой из них. Для формирования датасета из карт вызовов СМП было выбрано 4 различных по содержанию поля (таблица 1), включающие как сверхплотный рукописный текст (поле 20. Жалобы) с элементами сокращений и аббревиатур (поле 21. Анамнез), так и медицинскую метрику (поле 22), а также поле, включающее специфические медицинские мероприятия (поле 26. Оказание помощи на месте вызова). Для поля Жалобы и Анамнез, учитывая специфику поля в качестве единиц обучения выбирались отдельные строки, содержащие от 15 до 30 символов, для более коротких полей (поля 22 и 26) бралось поле целиком. Единицей распознавания в пилотном датасете, таким образом, в целом, являлся не весь документ и не всё многострочное поле целиком, а вырезанные фрагменты строк или короткие числовые поля. Такой подход согласует целевой медицинский датасет с последовательностной природой CTC-модели и снижает риск чрезмерного увеличения длины входной последовательности.

В результате было подготовлено 2520 строк, включающих по одной строке из каждого поля карты, при этом в валидационную и тестовую выборки не входили поля из карт, подготовленных для тренировочной выборки (таблица 6).

3.1. Обучение модели. Результаты тестирования

Кроме ранее использованных метрик, применяемых на первом этапе эксперимента для оценки полей, содержащих числовые характеристики, использовалась метрика Digit CER (Character Error Rate, коэффициент ошибок для цифр) и Digit EМ (Exact Match, доля полностью совпадающих цифр). Объем и режим аугментации при обучении на тренировочной выборке для пилотного датасета и HKR были идентичными. Кроме основной модифицированной модели ResNet18-TE-CTC, обученной на HKR, в эксперименте участвовала также стандартная модель ResNet18-TE-CTC с оптимизированной настройкой (таблица 4), также обученная на HKR. На втором этапе эксперимента использовались гиперпараметры обучения, соответствующие оптимизированной конфигурации, представленной в таблице 4.

Второй этап эксперимента включал обучение на пилотном датасете предобученных на HKR стандартной и модифицированной моделей. Также была проведена оценка распознавания модифицированной моделью тестовой выборки пилотного датасета без ее предобучения на данном датасете. Результаты данной серии экспериментов показаны в таблице 7.

Обобщённые показатели качества распознавания на пилотном датасете для модифицированной, обученной на HKR+СМП модели составили CER = 0,0922 и WER = 0,3475, что отражает среднюю точность модели по четырём рукописным полям. Агрегация выполнялась путём суммирования ошибок и эталонных символов/слов по всем полям датасета.

Пилотная проверка на пилотном датасете показала, что модифицированная архитектура ResNet18-TE-CTC значительно превосходит стандартную конфигурацию и модель, обученную только на HKR. Наилучшие результаты были получены после дополнительного обучения на выделенных фрагментах полей карт СМП. Особенно важным является результат по цифровым значениям, где Digit Exact Match достиг 0,8443.

Кроме данных пилотных испытаний была проведена оценка влияния разлиновки карт СМП на точность распознавания. Сравнивались обобщенные показатели CER и WER для модифицированной, обученной на HKR+СМП модели до удаления разлиновки и после удаления. Горизонтальные линии бланка выделялись на основании их цветовых и геометрических характеристик, при этом сформированная маска разлиновки использовалась для удаления соответствующих пикселей с последующим локальным восстановлением фоновой области методом inpainting. Полученные результаты показали, что устранения разлиновки практически не повлияло на точность распознавания: общий CER после разлиновки составил 0,0918, а WER — 0,3367. Сравнение исходных и обработанных изображений также не выявило существенного улучшения показателей распознавания, поэтому процедура удаления разлиновки не будет включена в обязательный вариант конвейера MedForm-HTR.

Анализ допускаемых модифицированной моделью ошибок показал, что большая их часть обусловлена спецификой почерка и его плотностью, так как высота поля строки составляет всего 3 мм, а наличие соседних строк предполагает еще меньшую рабочую высоту строки, иначе соседние строки будут перекрываться, что сделает невозможным прочтение текста даже человеком (рисунок 7).

Типичные ошибки в распознавании строк полей карт вызовов СМП

строки 1, 2 — поле жалобы; строки 3, 4 — поле цифровые показатели; строки 5, 6 — поле анамнез и диагностика; строки 7, 8 — поле оказание помощи на месте вызова

DOI:10.60797/IRJ.2026.171.59.14

Открыть в полном размереСкачать рисунок

Одним из выявленных типов ошибок являются замены визуально близких рукописных символов, например «о» и «а», «с» и «е», «и» и «м» и др. (рисунок 8, строки 2, 5, 6, 8). Такие ошибки связаны не только с ограничениями модели, но и с объективной неоднозначностью рукописного текста, наличием лигатур, в связи с чем в ряде случаев отдельный символ не может быть надёжно интерпретирован без учёта контекста слова или поля документа. Вторым значимым фактором, оказывающим влияние на точность распознавания являются ошибки, связанные с наложением отдельных фрагментов символов нижних и верхних строк на целевую строку, в связи с чем модель может их принять за дополнительные символы (строки 2, 5, 6, 8).

Таким образом, пилотные исследования показали, что данные датасета HKR существенно отличаются от реальных карт вызова СМП (так называемый доменный сдвиг). Это подтверждает необходимость дообучения модели на целевом типе документов и демонстрирует преимущество модифицированной архитектуры ResNet18-TE-CTC для распознавания выделенных фрагментов медицинских полей в картах вызова СМП.

3.2. Результаты второго этапа исследований

Проведённые пилотные исследования подтвердили принципиальную применимость модифицированной архитектуры ResNet18-TE-CTC для распознавания рукописных полей карт скорой медицинской помощи. Наилучшие результаты были получены после предметно-ориентированного дообучения модели на целевых изображениях: общий CER составил 0,0922, WER — 0,3475, а Digit CER для поля цифровых показателей — 0,0776. Полученные данные показывают, что адаптация к структуре документа, характеру медицинского почерка и особенностям заполнения бланков является необходимым условием создания прикладной HTR-системы.

Вместе с тем пилотное исследование выявило ряд ограничений, включая сравнительно более высокую ошибку в многострочных текстовых полях, возможное влияние элементов соседних строк, ограниченность объёма и разнообразия предметной выборки, а также отсутствие языкового медицинского постобрабатывания. Дальнейшее развитие MedForm-HTR предполагает расширение и внешнюю валидацию датасета, архитектурное сравнение, изоляцию целевых строк, применение медицинского словаря и предметной языковой модели, а также оценку достоверности и ручную проверку критичных результатов.

Таким образом, научный вклад работы заключается в аналитическом обосновании и экспериментальной проверке адаптации ResNet18 в составе гибридной архитектуры (ResNet18-TE-CTC) к задаче распознавания рукописного кириллического текста, что позволило снизить CER на 70% по сравнению с базовой конфигурацией.

В отличие от специализированных CNN-CTC архитектур, где параметры сжатия учитываются при проектировании, для ResNet18 требуется дополнительная настройка. Контролируемое исследование показало, что изменение шага свёртки в слоях Layer 3 и Layer 4 с 2 на 1 улучшает качество распознавания за счёт оптимизации выходной последовательности признаков.

Пилотная проверка на фрагментах карт СМП подтвердила эффективность предложенного подхода.

Полученные результаты дают все основания считать модифицированную гибридную архитектуру ResNet18-TE-CTC как перспективную модель для HTR-модуля разрабатываемой интеллектуальной системы MedForm-HTR. Анализ полученных результатов исследований показывает, что для успешной реализации данной системы требуется дальнейшая оптимизация и развития как самой модели HTR-модуля, так и всего процесса обработки документа, включая приём скана, предобработку, определение типа страницы, выравнивание, выделение полей, разбиение строк, их классификацию, HTR-распознавание, OCR, OMR и верификацию.

В соответствии с этим основные направления совершенствования системы будут включать:

- расширение набора медицинских документов с разнообразием почерков и типов записей;

- исследование подходов к оценке качества распознавания: как для конкретных специалистов, так и для общей применимости;

- улучшение выделения текстовых строк в многострочных полях;

- оптимизация обработки границ фрагментов и отступов для повышения точности распознавания;

- разработка методов подавления помех от посторонних элементов;

- внедрение специальных преобразований изображений, учитывающих особенности медицинских документов;

- совершенствование алгоритмов распознавания с использованием медицинского словаря и правил проверки;

- создание системы оценки достоверности результатов с передачей сложных случаев на проверку оператору.

Таким образом, планируется подготовка системы MedForm-HTRдо полноценного решения задач по обработке медицинских документов (карты вызовов СМП и др.), включающих распознавание текста, анализ структуры документа и контроль качества получаемых результатов.