ON THE FORMATION OF REQUIREMENTS FOR THE AUTOMATION OF QUALITY CONTROL OF THE RESULTS OF EXTRACURRICULAR WORK OF MEDICAL UNIVERSITY STUDENTS

Путь, которым следует поступательно формирующаяся личность, её перспективы в условиях информационного общества неразрывно связаны с наличием и развитием образовательных компетенций. Очевидная необходимость формирования нужных компетенций, достижение заявленного уровня знаний не только связаны с необходимостью интеграции личных, образовательных и прочих данных, но и зависят от применения тех, или иных технических решений. Немаловажной частью формирования компетенций у будущих врачей-специалистов является самостоятельная внеаудиторная работа, на которую, впрочем, отводится не более 30% учебных часов. В условиях информационного общества, а по мнению некоторых специалистов и пост-информационного, можно предположить, что такое количество отведённого времени будет меняться по мере ускорения развития окружающей информационно-образовательной среды и гипотетического формирования пост-информационного общества.

Более того, предложенная некоторыми исследователями идея о формировании пост-информационного общества уже в настоящее время, на базе информационного общества и событий четвёртой промышленной революции, диктует необходимость повысить готовность студентов к изменениям окружающей образовательной среды. Четвертая промышленная революция (или Индустрия 4.0), о которой сообщалось в 2011–2016 годах, порождённая новыми информационными технологиями, предполагает не только преобразование окружающих нас систем и постепенный переход их на самоконтроль. Не менее важными в условиях Индустрии 4.0 являются оптимизация всех производственных и как-либо связанных с ними процессов, умение человека контролировать и управлять такими системами и своим познанием ускоренно меняющегося мира. С другой стороны, формирование пост-информационного общества предполагает, что информация становится задачей самой по себе и единым целым с личностью. Всё большее влияние на процессы обучения и производства будут иметь те, кто одновременно владеет информацией и способен адекватно, если не опережающе, реагировать на изменение личной информации физических лиц, индивидуальных предпочтений, усложение управления технологичной средой. Очевидной становится тенденция к развитию индивидуализма и творчества, подкрепляемая стремлением к внедрению рациональности

С учётом сказанного, достаточно актуальным и в некотором смысле открытым остаётся вопрос, каковым должно стать в пост-информационном обществе медицинское образование, каковы его роль и место в подготовке медицинских кадров. Доминирующим признаётся утверждение, что современное медицинское образование должно быть качественным и технологичным. Вместе с тем пока ещё довольно широко распространены подходы к обучению специалистов в области здравоохранения, во многом основанные на ускорении и обезличивании практического опыта, а способы и методы контроля за работой обучающихся большее внимание уделяют посещаемости и успеваемости, чем качеству самоподготовки

Цель работы — сформировать первичные требования для автоматизации контроля качества результатов внеаудиторной работы студентов медицинского ВУЗа.

Материалы и методы: аспектный анализ публикаций по теме, статистическая обработка результатов анкетирования студентов, обработка результатов внеаудиторной работы методом контент-анализа.

Необходимо признать, что процесс подготовки специалистов модернизируется, причём в русле формирования пост-информационного общества, а именно включая технологизацию, цифровизацию обучения и повышение значимости самостоятельной внеаудиторной работы и сотрудничество обучающихся со специалистами. Формирование способности к анализу научных достижений, познанию окружающего информационного процесса, готовности к публичному представлению результатов выполненных научных исследований, наконец творческого взаимодействия, являются неотъемлемой частью требований, предъявляемых к современным студентам медицинских специальностей. Наблюдается и усиливается тенденция к персонализации обучения, превращению образовательного процесса в мультифакторную систему

Действующими федеральными государственными образовательными стандартами высшего образования предусмотрено предоставление обучающимся возможности оценивания качества как всего образовательного процесса, так и отдельных модулей и практик. В свою очередь, статья 34 Закона об образовании, как понятно из текста письма Министерства науки и образования «О привлечении обучающихся», закрепляет среди прочих академических прав студентов и право участвовать в тематических мониторингах

В ходе проведённого в 2020/2021 учебном году на кафедре медицинской информатики СПбГПМУ исследования было установлено, что формулировка цели работы вызывает наибольшие трудности при самостоятельной работе обучающихся, что подтверждалось расхождением в оценках по этому вопросу. В то же время была сформирована гипотеза о необходимости целенаправленного формирования малых групп как средства повышения эффективности самостоятельной внеаудиторной работы студентов, выраженной в подготовке реферата. Результаты этого и других исследований позволяют предложить использование количественного контент-анализа как эффективного средства повышения самоподготовки обучающихся, в том числе в условиях информационного и пост-информационного общества

Такие характеристики, как читабельность, понятность, сложность и некоторые другие принято характеризовать и анализировать с помощью математических формул, а затем и программного обеспечения. Как и в других случаях применения расчётного подхода, единообразие в определении критериев сложности текста пока отсутствует в научной среде. Так, трудность могут признавать зависимой от самого текста, а сложность — от компетенций читателя. Принято считать, что трудность отечественных текстов должна анализироваться с учётом достижений психологии, педагогики и социологии. В свою очередь, применение формул читабельности означает возможность анализировать предполагаемую сложность текста для восприятия, количественные характеристики текста, выраженность темы и логику изложения

Формула оценки читабельности текста Дейла-Чейл была предложена исследователями Эдгаром Дейлом и Джин Чейл в 1948 году, а в 1995 обновлена. При расчёте учитывается количество слов и предложений в тексте. Кроме того, слова вне заданного списка («сложные», незнакомые слова) сравниваются со списком знакомых слов. Если в тексте более 5% сложных слов, оценка корректируется. Наконец, опубликованный в 1975 году индекс Колмана-Лиау использует в качестве переменных слова и буквы. Такой метод представлялся его авторам более надёжным, чем силлабические счётные методы. Одним из объектов применения являются тексты из области юриспруденции, как потенциально менее понятные читателю

В I семестре 2024/2025 учебного года на кафедре медицинской информатики СПбГПМУ было проведено исследование по результатам самостоятельной работы нескольких групп обучающихся 2 курса педиатрического факультета. В том числе, было проведено анкетирование с использованием онлайн-форм. В ходе первой части исследования опрашиваемые отвечали на вопросы, позволяющие сформировать некоторое представление о процессе выполнения самостоятельной работы. Выбирать тему работы из сформированного и утверждённого на кафедре списка предпочли бы 57% респондентов, а выбирать тему по своему усмотрению — 28,6%. На ключевые, с учётом послезнания о реальных результатах работы, вопросы, были даны ответы, больше похожие на желание угадать нужный. А именно, ответы на вопрос о содержании работ распределились так, как показано в таблице 1.

Как понятно, работы были выполнены с точностью до наоборот: формальное качество ставилось обучающимися во главу угла, а вопросы о содержании тех, или иных разделов чаще всего встречались предложением удалить не нужный с точки зрения преподавателя текст, без желания как-то защитить свой труд или хотя бы осмыслить причину удаления. В ходе проведённого в 2020/2021 учебном году исследования некоторым обучающимся задавались те же вопросы, что и в осеннем семестре текущего учебного года. В обоих случаях было опрошено 35 студентов 2 курса педиатрического факультета. В 2020/2021 году сохранение логики предпочли лишь 5,9% респондентов, но описанная ситуация повторилась на практике: на первый план выходило формальное качество оформления. При этом ответы на вопрос о наиболее объективном оценивании работы распределились так, как показано на рисунке 1:

Рисунок 1 - Распределение ответов на вопрос об оценивании работы в 2020/2021 учебном году

DOI:10.60797/IRJ.2025.155.90.2

Как видно из рисунка 1, в 2020/2021 учебном году более 40% опрошенных принципиально допускали возможность сторонней оценки результатов внеаудиторной работы. В свою очередь, в первом семестре текущего учебного года таких желающих отмечено только 26%. Вариант с оцениванием одногруппниками в текущем году не был выбран никем из опрошенных, зато вариант «эксперт и кто-то ещё» набрал 17,1% по сравнению с 20,6%, представленных на рисунке 1.

При ответе на вопрос, кто же с вашей точки зрения может быть экспертом при оценивании работы, вариант ответа «преподаватель вашей дисциплины» выбрали 82,9% опрошенных. Вариант «преподаватель смежной/подобной дисциплины» выбрали 11,4%, а «любой преподаватель» — 2,9%. Столько же процентов опрошенных выбрали и вновь предложенную возможность автоматизированной оценки с помощью количественных показателей. Вариант «студенты других специальностей» почти не претерпел изменений: 5,7% и 5,9% соответственно.

В свою очередь, варианты ответа на тот же вопрос обучающихся 2020/2021 года представлены на рисунке 2, причём вариант «любой преподаватель» был выбран также 2,9% опрошенных.

Рисунок 2 - Распределение ответов на вопрос о личности эксперта с точки зрения опрашиваемых в 2020/2021 учебном году

DOI:10.60797/IRJ.2025.155.90.3

Особенный интерес с точки зрения ответа на вопрос об эксперте представляют результаты исследования, проведённого на мероприятии Европейской ассоциации гарантии качества в высшем образовании (ENQA). Среди качеств, желательных для эксперта, были названы такие, как принадлежность к конкретному ВУЗу или связь с ним, обладание аналитическими навыками, понимание функционирования системы образования в широком смысле

[18]

. Понятно, что таких же навыков можно ожидать и от эксперта, привлекаемого для оценки результатов внеаудиторной работы студентов медицинских специальностей. Понятно так же и то, что в информационном, а тем более в пост-информационном обществе подобного рода экспертиза, с одной стороны, может быть успешно оптимизирована с помощью математических и программных средств, а с другой — может потребовать разработки и внедрения соответствующих руководящих документов, в соответствии с которыми будут отбираться и работать эксперты.

Второй этап проводимого в текущем учебном году исследования состоял в обработке текстов рефератов с помощью онлайн-инструментария ресурса plainrussian.ru. Результаты обработки распределены в соответствии с перечнем тем и малых групп, некоторые результаты представлены в таблице 2. В столбце «код» расположены обозначения малых групп обучающихся, выполнявших анализируемые работы, в столбце «уровень» — численное представление уровня восприятия текста.

Средние значения результатов анализа текстов в I семестре 2024/2025 учебного года по предлагаемым к использованию формулам и индексам представлены в таблице 3, названия формул и индексов в которой приведены в сокращённом виде. Полученные численные выражения средних значений позволяют характеризовать общий уровень представленных работ, тем не менее контроль данного показателя и контроль за выбросами следует включить в первичные требования, выполнение которых позволит эффективно контролировать внеаудиторную работу обучающихся.

В ходе выполнения анализа текстов с помощью 5 адаптированных формул была введена помещённая в таблице 2 трёхбалльная шкала для численного представления предложенной на ресурсе шкалы восприятия текста: 0 — текст воспринимается потенциальной аудиторией достаточно легко, 1 — достаточно сложно и 2 — сложно. Подавляющее большинство работ можно оценить 2 баллами по данной шкале. С одной стороны, это можно формально связать с соблюдением общих требований к написанию рефератов в части подбора источников, но с другой — можно предположить достаточно качественную подготовку текстов обучающимися, что на этапе итоговой защиты работ подтвердилось практически.

Полученные при анализе текста с помощью адаптированных формул числовые значения предлагается учитывать вместе с итоговой версией текста работы. Так, например, сформированную таблицу с результатами, характеризующими текст, можно дополнить сведениями о количестве страниц, сложных слов, общем количестве слов. К первичным требованиям, которым должна отвечать оцениваемая работа, следует добавить соблюдение уровня (в терминологии ресурса plainrussian.ru) не ниже «второе высшее, PhD». Можно предложить следующий набор первичных требований к работе:

— получение результатов расчёта по адаптированным формулам;

— сравнение их с периодически корректируемыми значениями (коррекцию можно проводить по средним величинам за определённые периоды);

— внесение дополнительных сведений о количестве слов, страниц и т. д.;

— сравнение таких сведений с минимально допустимыми значениями;

— соблюдение уровня, как описано выше, или указание численного значения по предложенной трёхбалльной шкале;

— допуск работы к защите только по достижении известных заранее пороговых величин.

Естественно, применение расчётов по адаптированным формулам не должно означать пренебрежения оформлением текста в соответствии с принятыми стандартами, как и не должно приниматься в качестве альтернативы устной защите результатов самостоятельной работы перед аудиторией. Оно лишь может полностью заменить все предварительные этапы, освободив таким образом время для освоения новых знаний.

Данные, полученные в ходе исследования, позволяют утверждать, что контроль качества самостоятельной, внеаудиторной работы студентов медицинского ВУЗа может быть в достаточной степени автоматизирован. В дальнейшем представляется целесообразным разработать модель, позволяющую оптимизировать весь процесс оценивания результатов внеаудиторной работы студентов медицинского ВУЗа.