1. Введение

Переход высшей школы к компетентностной модели изменил само понимание образовательного результата — им стал не объём усвоенного материала, а компетенция, под которой понимается интегральная способность решать профессиональные задачи. —[1]

Естественным аппаратом формализации подобных задач служит теория ответов на задания (Item Response Theory, IRT). Данный подход позволяет связать наблюдаемые результаты оценивания с ненаблюдаемыми характеристиками обучающегося, в частности, со сформированностью определённого образовательного результата (компетенции). В настоящее время IRT представляет целое семейство статистических моделей, используемых для анализа данных, полученных в результате тестирования, опросов или других форм оценки. Для анализа порядковых результатов оценивания, например экзаменационных оценок, используются модели градуированных и частичных оценок

[2][3][4][5][6][7][1]

Таким образом, существующие исследования создают теоретическую и методическую основу, однако не полностью решают задачу оценивания процесса формирования компетенции в динамике, по мере изучения дисциплин учебного плана. В большинстве случаев либо анализируется текущее состояние обучающегося, либо динамика латентного признака рассматривается без явной связи с последовательностью дисциплин, формирующих компетенцию. Кроме того, недостаточно учитывается неоднородность оценочных данных, характерная для образовательной практики, т.к. структура исходных данных об аттестации слабо формализована и обычно определяется действующими в образовательной организации нормативными документами. Например, в ФГБОУ ВО «БГУ» применяется балльно-рейтинговая система оценивания, которая предполагает накопительный принцип оценивания учебной деятельности студентов. Текущая аттестация по дисциплине включает несколько оценочных мероприятий, результаты которых суммируются в накопленный балл по стобалльной шкале. Промежуточная аттестация проводится в форме экзамена или зачёта. Экзаменационная оценка имеет порядковую пятибалльную шкалу, связанную со стобалльной: результат 91–100 баллов соответствует оценке «отлично», 76–90 баллов — «хорошо», 61–75 баллов — «удовлетворительно», менее 61 балла — «неудовлетворительно». Зачёт считается полученным при достижении результата не ниже 61 балла.

В связи с этим цель исследования заключается в построении модели, предназначенной для оценивания временной динамики латентного уровня сформированности компетенции по совокупности разнородных оценочных данных. Такая модель должна обеспечить согласованное использование результатов разных видов аттестации и позволить описывать не только итоговый уровень сформированности компетенции, но и сам процесс его изменения по мере освоения обучающимся последовательности дисциплин образовательной программы.

2. Методы и принципы исследования

Пусть есть компетенция, для которой образовательная программа задаёт упорядоченный список из D дисциплин. Обозначим через [LATEX_FORMULA]i=1,…,N[/LATEX_FORMULA]номер обучающегося, а через номер дисциплины в этой последовательности. Учебное время обозначим через [LATEX_FORMULA]\tau\in[0,\tau_{max}][/LATEX_FORMULA], где [LATEX_FORMULA]\tau_{max}\ [/LATEX_FORMULA] соответствует завершению рассматриваемого фрагмента образовательной программы. По каждой дисциплине фиксируются результаты текущей и промежуточной аттестации. Текущая аттестация по дисциплине складывается из результатов отдельных контрольных мероприятий, определенных в фонде оценочных средств. Результаты этой аттестации представляют собой вектор наблюдений, сумма баллов — 100. Промежуточная аттестация представляет собой итоговую оценку освоения дисциплины в пятибалльной или двухбалльной шкале. Задача состоит в том, чтобы на основе доступных аттестационных данных оценить индивидуальную траекторию латентного уровня сформированности компетенции [LATEX_FORMULA]\theta_i(\tau)[/LATEX_FORMULA] изменяющегося по мере освоения обучающимся дисциплин образовательной программы.

Предлагаемая в работе модель описывает формирование компетенции как динамический латентный процесс. Латентный уровень сформированности компетенции студента в момент учебного времени рассматривается как сумма сглаженного индивидуального тренда и краткосрочной случайной флуктуации:

где [LATEX_FORMULA]\mu_i(\tau)[/LATEX_FORMULA] описывает основную траекторию формирования компетенции, а [LATEX_FORMULA]u_i(\tau)[/LATEX_FORMULA]

Чтобы параметры модели имели содержательную интерпретацию начального и конечного уровней на рассматриваемом интервале обучения, используется нормированная логистическая функция

Тогда индивидуальный тренд задаётся выражением

где [LATEX_FORMULA]\theta_i^0\ [/LATEX_FORMULA] соответствует начальному уровню сформированности компетенции, [LATEX_FORMULA]\theta_i^\infty[/LATEX_FORMULA] уровню к завершению рассматриваемого периода обучения, а [LATEX_FORMULA]\Delta_i\ [/LATEX_FORMULA] характеризует общий прирост латентного уровня. Параметр [LATEX_FORMULA]\gamma>0[/LATEX_FORMULA] определяет скорость формирования компетенции, а [LATEX_FORMULA]\tau^\ast\in(0,\tau_{max})\ [/LATEX_FORMULA] задаёт момент наиболее интенсивного изменения тренда. Краткосрочные отклонения от тренда описываются процессом Орнштейна-Уленбека:

где [LATEX_FORMULA]k>0[/LATEX_FORMULA] параметр возврата к среднему уровню, [LATEX_FORMULA]\sigma_u>0[/LATEX_FORMULA] интенсивность случайных флуктуаций, а [LATEX_FORMULA]W_i(\tau)[/LATEX_FORMULA]стандартный винеровский процесс. Латентным аргументом измерительной модели в каждый момент наблюдения служит само значение траектории — сумма гладкого тренда и краткосрочной флуктуации

где первое слагаемое

—

где [LATEX_FORMULA]m_{d, j}^{C}=q_{d j} \Lambda\left(a^{C}\left(\eta_{i}\left(\tau_{d, j}\right)-b^{C}\right)\right),[/LATEX_FORMULA] [LATEX_FORMULA]q_{d j}[/LATEX_FORMULA] — параметр [LATEX_FORMULA]a^C[/LATEX_FORMULA] определяет чувствительность текущего балла к изменению латентного уровня [LATEX_FORMULA]b^C[/LATEX_FORMULA] задаёт положение шкалы, [LATEX_FORMULA]\sigma_T^2[/LATEX_FORMULA] характеризует дисперсию ошибки измерения.

Экзаменационная оценка [LATEX_FORMULA]Y_{id}^E\ [/LATEX_FORMULA] описывается как порядковая категориальная переменная с четырьмя уровнями. Категории кодируются числами 0,1,2,3, где 0 соответствует оценке «неудовлетворительно», а 3 оценке «отлично». Для экзамена используется модель градуированных ответов:

Результат зачёта [LATEX_FORMULA]Y_{id}^Z\in{0,1}\ [/LATEX_FORMULA]

где [LATEX_FORMULA]a^Z\ [/LATEX_FORMULA] характеризует дискриминирующую способность зачётного измерения, а [LATEX_FORMULA]b^Z[/LATEX_FORMULA] — порог латентного уровня, соответствующий получению зачёта.

Для оценки параметров модели воспользуемся методом максимума апостериорной плотности (MAP). Введём множества [LATEX_FORMULA]\mathcal{E}_i\ [/LATEX_FORMULA] и [LATEX_FORMULA]\mathcal{Z}_i[/LATEX_FORMULA]. Множество [LATEX_FORMULA]\mathcal{E}_i[/LATEX_FORMULA]содержит дисциплины с наблюдаемой экзаменационной оценкой, а [LATEX_FORMULA]\mathcal{Z}_i\ [/LATEX_FORMULA]

Логарифм апостериорной плотности для студента i задаётся выражением

В качестве априорных распределений используются нормальные распределения для начального уровня и прироста:

а для состояний процесса Орнштейна-Уленбека в дискретных моментах наблюдения задаётся нормальное распределение

Тогда оценка индивидуальных параметров находится:

Неопределённость оценки определяется с использованием приближения Лапласа. Ковариационная матрица оценки задаётся выражением

Дисперсия оценки тренда в произвольный момент учебного времени вычисляется по дельта-методу:

Для выбранной параметризации градиент имеет вид

На основе этой дисперсии строится 95-процентный апостериорный интервал для индивидуального тренда:

Для исследования предлагаемой в работе модели

воспользуемся имитационным моделированием. Имитационная модель должна одновременно порождать эталонную траекторию каждого студента и наблюдаемые результаты аттестации. Чтобы отделить закономерные различия методов от случайности конкретной выборки, эксперимент независимо повторяется множество раз (Монте-Карло), и все показатели усредняются по повторениям.

Истинное значение трендовой составляющей латентного уровня обозначим [LATEX_FORMULA]\mu_{it}[/LATEX_FORMULA], а его оценку [LATEX_FORMULA]{\hat{\mu}}_{it}[/LATEX_FORMULA]. Среднеквадратическая ошибка [LATEX_FORMULA]RMSE=\sqrt{\frac{1}{N\centerdot T}\sum_{i,t}\left({\hat{\mu}}_{it}-\mu_{it}\right)^2}[/LATEX_FORMULA] характеризует среднюю величину отклонения оценки от истины и сильнее штрафует крупные ошибки, поэтому служит основным показателем точности. Смещение [LATEX_FORMULA]\delta=\frac{1}{N\centerdot T}\sum_{i,t}\left({\hat{\mu}}_{it}-\mu_{it}\right)[/LATEX_FORMULA] выявляет устойчивую недооценку или переоценку уровня, например из-за «потолка» стобалльных шкал. Коэффициент корреляции [LATEX_FORMULA]r=\frac{cov\left(\hat{\mu},\ \mu\right)}{\sigma_{\hat{\mu}}\sigma_\mu}[/LATEX_FORMULA] измеряет согласие формы оценённой и истинной траекторий и инвариантен к сдвигу и масштабу, поэтому показывает, воспроизводится ли сам ход формирования компетенции, даже если оценки смещены. Эмпирическое покрытие [LATEX_FORMULA]C_{0,95}=\frac{1}{N\centerdot T}\sum_{i,t}\left[\mu_{it}\in{\hat{I}}_{it}\right][/LATEX_FORMULA] представляет долю истинных значений, попавших в 95-процентный апостериорный интервал [LATEX_FORMULA]{\hat{I}}_{it}[/LATEX_FORMULA].

Адекватность оценённой модели проверяется по остаткам наблюдаемых результатов аттестации относительно их модельных ожиданий. Для каждого наблюдаемого результата вычисляется

На основе стандартизованных остатков для каждого обучающегося (и аналогично для каждой дисциплины) рассчитываются невзвешенная (Outfit) и взвешенная по дисперсии (Infit) статистики согласия [8]:

Значения статистик, близкие к единице, свидетельствуют о согласии данных с моделью, а значения, заметно превышающие единицу, указывают на нетипичные результаты оценивания. Долю объяснённой моделью изменчивости оценок характеризует коэффициент детерминации [9]:

Согласие отдельных измерений с моделью оценивается статистиками типа S[10]

где [LATEX_FORMULA]O_{gc}[/LATEX_FORMULA] — число обучающихся группы g, получивших категорию c по измерению j, [LATEX_FORMULA]E_{gc}[/LATEX_FORMULA] — —[10]

При выполнении условной независимости значения Q3 близки к небольшой отрицательной величине, тогда как заметные положительные значения свидетельствуют о локальной зависимости.

Для сравнения вариантов модели, в частности для проверки необходимости компоненты краткосрочной флуктуации, используются информационные критерии

[11]———

Поскольку латентные параметры регуляризованы априорными распределениями, эффективное число параметров определяется следом матрицы влияния k = n − tr(CΛ), где C

——

3. Основные результаты

Для проверки внутренней корректности модели проведён имитационный эксперимент.

Компетенция формировалась последовательностью из десяти дисциплин, по две в каждом из пяти семестров. Семь дисциплин завершались экзаменом, а три — зачётом. По каждой дисциплине генерировались вектор результатов контрольных мероприятий текущей аттестации (по две контрольные точки) и итоговая оценка промежуточной аттестации согласно измерительной модели. Параметры эксперимента приведены в табл. 1 и подобраны так, чтобы воспроизвести типичные распределения реальных оценок. Каждый сценарий воспроизводился в нескольких независимых повторениях (базовый — 200, сценарии с нарушением предпосылок — по 100), в каждом из которых моделировалась когорта из 50 обучающихся. Для каждой метрики приводятся её среднее значение и среднее квадратическое отклонение по повторениям. Пример структуры исходных данных и измерительной модели представлены на рис. 1.

Для проверки устойчивости предложенной модели рассмотрены отклонения от модельных предпосылок (табл. 2).

При повышении дисперсии контрольной точки (σ_C с 9 до 14) и при заведомо неверно заданных (смещённые средние начального уровня и прироста, удвоенные стандартные отклонения) средняя квадратическая ошибка возрастает умеренно, с 0,227 до 0,274 и 0,229 соответственно. Это показывает, что корректность модели не сводится к совпадению априорных распределений с механизмом порождения данных и сохраняется при их рассогласовании и при росте шума измерений.

Применимость предложенной модели проиллюстрируем на примере общепрофессиональной компетенции образовательной программы бакалавриата по направлению 09.03.03 «Прикладная информатика» ФГБОУ ВО «БГУ». Рассмотрим компетенцию ОПК-1 — способность применять естественнонаучные и общеинженерные знания, методы математического анализа и моделирования, теоретического и экспериментального исследования в профессиональной деятельности. Перечень дисциплин,

формирующих

Для анализа сформирован датасет из 43 обучающихся по пяти дисциплинам. По каждой дисциплине строился вектор результатов текущей аттестации и одна оценка промежуточной аттестации, всего 1290 наблюдений. Оценённые траектории латентного уровня сформированности компетенции для трёх типичных профилей: со стабильно высокими оценками («отлично»); с колебаниями между «отлично» и «хорошо»; со стабильными «хорошо» приведены на рис. 3. Статистики согласия Outfit и Infit по всем пяти дисциплинам находятся в пределах допустимого диапазона 0,5–1,5 (Outfit от 0,58 до 0,88, Infit от 0,60 до 0,94), рис. 4.

4. Обсуждение

Полученные результаты подтверждают целесообразность рассмотрения сформированности компетенции как динамической латентной характеристики, изменяющейся по мере освоения обучающимся последовательности дисциплин образовательной программы. Предложенная модель позволяет перейти от простой агрегации наблюдаемых оценок к реконструкции индивидуальной траектории формирования компетенции, учитывающей временную структуру обучения и различную измерительную природу аттестационных данных. Существенным преимуществом является согласованное включение в единую вероятностную схему накопленных баллов текущей аттестации, порядковых экзаменационных оценок и бинарных результатов зачёта.

Имитационный эксперимент показал, что модель восстанавливает латентную траекторию с малой среднеквадратической ошибкой, высокой корреляцией с истинными значениями и близким к номинальному покрытию апостериорных интервалов. Устойчивость результатов при увеличении дисперсии контрольных точек и при рассогласовании априорных распределений свидетельствует о том, что работоспособность модели не сводится к искусственному совпадению условий моделирования и оценивания. Использованные в работе статистические критерии Outfit, Infit, S–X², Q1 и Q3 показывают отсутствие выраженного систематического несоответствия модели данным в рассмотренном примере.

5. Заключение

Предложена динамическая модель оценивания латентной траектории формирования одной компетенции по результатам текущей и промежуточной аттестации. Латентный уровень сформированности описан непрерывной траекторией, связанной с последовательностью формирующих дисциплин. Разнородные шкалы оценивания, принятые в вузе и включающие накопленный балл текущей аттестации, категориальную оценку экзамена и бинарный результат зачёта, согласованы единой измерительной моделью, а оценка траектории дополнена количественной мерой неопределённости.

Практическая значимость модели определяется возможностью применения уже имеющихся в университете аттестационных процедур без обязательного введения дополнительных процедур тестирования. Дальнейшее развитие исследования целесообразно связать с расширенной апробацией модели на реальных данных разных образовательных программ, расширением её до многомерного случая с несколькими компетенциями, учётом эффектов дисциплин, преподавателей и оценочных средств, а также с интеграцией модели в цифровой профиль или цифровой двойник образовательной траектории обучающегося.

The additional file for this article can be found as follows: