ДИНАМИЧЕСКАЯ МОДЕЛЬ С ЛАТЕНТНЫМИ ПАРАМЕТРАМИ ДЛЯ ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ ПО РЕЗУЛЬТАТАМ АТТЕСТАЦИИ
ДИНАМИЧЕСКАЯ МОДЕЛЬ С ЛАТЕНТНЫМИ ПАРАМЕТРАМИ ДЛЯ ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ ПО РЕЗУЛЬТАТАМ АТТЕСТАЦИИ
Аннотация
В компетентностном подходе компетенции выступают как обобщённый результат образования, отражающий способность обучающегося применять знания, умения и опыт деятельности в профессиональной деятельности. Процесс формирования компетенции в рамках обучения развивается постепенно, по мере прохождения обучающимся дисциплин. Поскольку уровень сформированности компетенции не может быть измерен напрямую, он оценивается косвенно, на основе результатов текущей и промежуточной аттестации. В работе этот уровень рассматривается как латентная характеристика, изменяющаяся во времени и образующая индивидуальную траекторию формирования компетенции. Цель исследования заключается в построении динамической модели, предназначенной для оценивания временной динамики латентного уровня сформированности компетенции по совокупности разнородных оценочных данных. Методологической основой служит теория ответов на задания. Параметры оцениваются методом максимума апостериорной плотности, а неопределённость оценки траектории определяется с помощью приближения Лапласа. В имитационном эксперименте с известной истинной траекторией и повторениями Монте-Карло показано, что модель восстанавливает индивидуальную траекторию формирования компетенции с малой среднеквадратической ошибкой и высокой корреляцией с истиной. Практическая значимость состоит в возможности оценивать формирование компетенций по данным текущей и промежуточных аттестаций без дополнительного тестирования.
1. Введение
Переход высшей школы к компетентностной модели изменил само понимание образовательного результата — им стал не объём усвоенного материала, а компетенция, под которой понимается интегральная способность решать профессиональные задачи. Действующие стандарты ФГОС ВО определяют компетенции трёх классов (универсальные, общепрофессиональные, профессиональные) и устанавливают для них индикаторы достижения, которые вуз закрепляет за дисциплинами и практиками образовательной программы. Принципиальная трудность оценивания состоит в том, что уровень сформированности компетенции латентен, иными словами, он не наблюдается непосредственно и проявляется лишь косвенно, например, через аттестацию обучающегося в определенных контрольных точках. Зачастую на практике эта латентная величина подменяется наблюдаемыми отметками, а суждение о сформированности компетенции выносится простой агрегацией — усреднением оценок по дисциплинам, формирующим компетенцию. Такой подход (расчет среднего балла или рейтинга при использовании балльно-рейтинговых систем), не учитывает динамику формирования компетенции, природу используемых измерительных шкал и неоднородность измерений
.Естественным аппаратом формализации подобных задач служит теория ответов на задания (Item Response Theory, IRT). Данный подход позволяет связать наблюдаемые результаты оценивания с ненаблюдаемыми характеристиками обучающегося, в частности, со сформированностью определённого образовательного результата (компетенции). В настоящее время IRT представляет целое семейство статистических моделей, используемых для анализа данных, полученных в результате тестирования, опросов или других форм оценки. Для анализа порядковых результатов оценивания, например экзаменационных оценок, используются модели градуированных и частичных оценок . Для описания изменения латентного признака во времени служат продольные и динамические модели
, . В интеллектуальных обучающих системах развиваются модели отслеживания знаний, в том числе нейросетевые . Однако такие модели часто обладают ограниченной интерпретируемостью, а это важный фактор для образования как сферы, в которой решения на основе искусственного интеллекта должны быть прозрачными и обоснованными, поэтому интерес представляют «объяснимые» модели и методы . На этом фоне формируется представление о цифровом двойнике обучающегося как о динамической модели его образовательного состояния, которая может использоваться для мониторинга и поддержки принятия решений . В ряде отечественных исследований предложены интеллектуальные модели оценивания компонентов подготовки, технологии непрерывного контроля знаний, алгоритмы управления обучением , а также когнитивно-диагностические модели, описывающие связь между заданиями и компетенциями.Таким образом, существующие исследования создают теоретическую и методическую основу, однако не полностью решают задачу оценивания процесса формирования компетенции в динамике, по мере изучения дисциплин учебного плана. В большинстве случаев либо анализируется текущее состояние обучающегося, либо динамика латентного признака рассматривается без явной связи с последовательностью дисциплин, формирующих компетенцию. Кроме того, недостаточно учитывается неоднородность оценочных данных, характерная для образовательной практики, т.к. структура исходных данных об аттестации слабо формализована и обычно определяется действующими в образовательной организации нормативными документами. Например, в ФГБОУ ВО «БГУ» применяется балльно-рейтинговая система оценивания, которая предполагает накопительный принцип оценивания учебной деятельности студентов. Текущая аттестация по дисциплине включает несколько оценочных мероприятий, результаты которых суммируются в накопленный балл по стобалльной шкале. Промежуточная аттестация проводится в форме экзамена или зачёта. Экзаменационная оценка имеет порядковую пятибалльную шкалу, связанную со стобалльной: результат 91–100 баллов соответствует оценке «отлично», 76–90 баллов — «хорошо», 61–75 баллов — «удовлетворительно», менее 61 балла — «неудовлетворительно». Зачёт считается полученным при достижении результата не ниже 61 балла.
В связи с этим цель исследования заключается в построении модели, предназначенной для оценивания временной динамики латентного уровня сформированности компетенции по совокупности разнородных оценочных данных. Такая модель должна обеспечить согласованное использование результатов разных видов аттестации и позволить описывать не только итоговый уровень сформированности компетенции, но и сам процесс его изменения по мере освоения обучающимся последовательности дисциплин образовательной программы.
2. Методы и принципы исследования
Пусть есть компетенция, для которой образовательная программа задаёт упорядоченный список из D дисциплин. Обозначим через
Предлагаемая в работе модель описывает формирование компетенции как динамический латентный процесс. Латентный уровень сформированности компетенции студента в момент учебного времени рассматривается как сумма сглаженного индивидуального тренда и краткосрочной случайной флуктуации:
где
Чтобы параметры модели имели содержательную интерпретацию начального и конечного уровней на рассматриваемом интервале обучения, используется нормированная логистическая функция
Тогда индивидуальный тренд задаётся выражением
где
где
где первое слагаемое — гладкий тренд, а второе – краткосрочная флуктуация Орнштейна—Уленбека. Результаты аттестации описываются в рамках единой измерительной модели. Каждый результат контрольного мероприятия текущей аттестации по стобалльной шкале рассматривается как непрерывная наблюдаемая величина, привязанная к своему моменту учебного времени:
где
Экзаменационная оценка
Результат зачёта
где
Для оценки параметров модели воспользуемся методом максимума апостериорной плотности (Maximum a Posteriori, MAP). Введём множества
Логарифм апостериорной плотности для студента i задаётся выражением
В качестве априорных распределений используются нормальные распределения для начального уровня и прироста:
а для состояний процесса Орнштейна-Уленбека в дискретных моментах наблюдения задаётся нормальное распределение
Тогда оценка индивидуальных параметров находится:
Неопределённость оценки определяется с использованием приближения Лапласа. Ковариационная матрица оценки задаётся выражением
Дисперсия оценки тренда в произвольный момент учебного времени вычисляется по дельта-методу:
Для выбранной параметризации градиент имеет вид
На основе этой дисперсии строится 95-процентный апостериорный интервал для индивидуального тренда:
Для исследования предлагаемой в работе модели воспользуемся имитационным моделированием. Имитационная модель должна одновременно порождать эталонную траекторию каждого студента и наблюдаемые результаты аттестации. Чтобы отделить закономерные различия методов от случайности конкретной выборки, эксперимент независимо повторяется множество раз (Монте-Карло), и все показатели усредняются по повторениям.
Истинное значение трендовой составляющей латентного уровня обозначим
Адекватность оценённой модели проверяется по остаткам наблюдаемых результатов аттестации относительно их модельных ожиданий. Для каждого наблюдаемого результата вычисляется
На основе стандартизованных остатков для каждого обучающегося (и аналогично для каждой дисциплины) рассчитываются невзвешенная (Outfit) и взвешенная по дисперсии (Infit) статистики согласия :
Значения статистик, близкие к единице, свидетельствуют о согласии данных с моделью, а значения, заметно превышающие единицу, указывают на нетипичные результаты оценивания. Долю объяснённой моделью изменчивости оценок характеризует коэффициент детерминации :
Согласие отдельных измерений с моделью оценивается статистиками типа S–X² Орландо-Тиссена и Q1 Йена . Обучающиеся разбиваются на группы по оценённому латентному уровню (статистика Q1) либо по наблюдаемому суммарному баллу (статистика S–X²), и в каждой группе g наблюдаемые частоты категорий сопоставляются с ожидаемыми по модели:
где
При выполнении условной независимости значения Q3 близки к небольшой отрицательной величине, тогда как заметные положительные значения свидетельствуют о локальной зависимости.
Для сравнения вариантов модели, в частности для проверки необходимости компоненты краткосрочной флуктуации, используются информационные критерии . Критерий Акаике и байесовский информационный критерий вычисляются по логарифму правдоподобия при оценённых параметрах: AIC = −2 ln L + 2k и BIC = −2 ln L + k ln Nobs, где L — правдоподобие, Nobs — число наблюдений, k — эффективное число параметров. Широко применимый информационный критерий оценивает предсказательную способность по апостериорному распределению:
Поскольку латентные параметры регуляризованы априорными распределениями, эффективное число параметров определяется следом матрицы влияния k = n − tr(CΛ), где C — апостериорная ковариационная матрица оценки, Λ — матрица точности априорного распределения; оно оказывается меньше номинального числа латентных величин. Меньшим значениям критериев отвечает предпочтительный вариант модели.
3. Основные результаты
Для проверки внутренней корректности модели проведён имитационный эксперимент. Имитационное моделирование, оценивание параметров и расчёт метрик выполнены программным модулем, который разработан авторами на языке Python. Для численных вычислений использованы библиотеки NumPy и SciPy. Операции линейной алгебры векторизованы, а псевдослучайные числа порождаются генератором PCG64 с фиксированными начальными значениями, что обеспечивает воспроизводимость. Краткосрочная флуктуация моделируется процессом Орнштейна-Уленбека и оценивается как состояние: латентный вектор включает её значения в моменты наблюдений с марковским (точно дискретизированным) априорным распределением. Логистическая функция вычисляется функцией scipy.special.expit. Максимум апостериорной плотности для каждого студента отыскивается квазиньютоновским методом L-BFGS-B из scipy.optimize.minimize. Логарифм плотности задаётся в замкнутой форме, а его градиент вычисляется численно. Матрица вторых производных в точке максимума находится конечно-разностным методом с учётом её разрежённой (стрелочно-трёхдиагональной) структуры, а ковариация параметров и апостериорные интервалы траектории получаются её обращением средствами NumPy. Визуализация выполнена средствами библиотеки Matplotlib.
Компетенция формировалась последовательностью из десяти дисциплин, по две в каждом из пяти семестров. Семь дисциплин завершались экзаменом, а три — зачётом. По каждой дисциплине генерировались вектор результатов контрольных мероприятий текущей аттестации (по две контрольные точки) и итоговая оценка промежуточной аттестации согласно измерительной модели. Параметры эксперимента приведены в табл. 1 и подобраны так, чтобы воспроизвести типичные распределения реальных оценок. Каждый сценарий воспроизводился в нескольких независимых повторениях (базовый — 200, сценарии с нарушением предпосылок — по 100), в каждом из которых моделировалась когорта из 50 обучающихся. Для каждой метрики приводятся её среднее значение и среднее квадратическое отклонение по повторениям. Пример структуры исходных данных и измерительной модели представлены на рис. 1.
Таблица 1 - Параметры базового имитационного эксперимента
Параметр | Значение |
Число студентов N | 50 |
Число дисциплин D (экзамен / зачёт) | 10 (7 / 3) |
Семестров (дисциплин в семестр) | 5 (2) |
Шкала текущей аттестации | 0–100 (непрерывная) |
Категории экзамена (установленные диапазоны) | неуд / удовл / хор / отл |
Дискриминирующие способности: aC / aE / aZ | 1,2 / 1,4 / 1,4 |
Пороги экзамена (GRM): bE1 / bE2 / bE3 | −0,5 / 0,5 / 1,4 |
Параметры положения: bC / bZ | −0,3 / −1,0 |
Начальный уровень θ⁰ (среднее / СКО) | −0,5 / 0,5 |
Прирост θ∞ − θ⁰ (среднее / СКО) | 2,0 / 0,5 |
Параметры тренда: γ / τ* | 2,5 / 1,2 |
Параметры флуктуации: κ / σu | 1,5 / 0,45 |
СКО контрольной точки σC | 9,0 |
Контрольных точек текущей аттестации на дисциплину | 2 |
Структура данных и измерительная модель
(а) показана последовательность дисциплин одного студента с вектором контрольных точек текущей аттестации и промежуточной аттестацией в виде категории экзамена или зачёта; (б) приведены кривые отклика категорий экзамена в модели градуированных ответов, то есть вероятности категорий «неуд», «удовл», «хор» и «отл» как функции латентного уровня компетенции
Рисунок 2 - Показаны истинная и оценённая траектории формирования компетенции с 95-процентной апостериорной полосой
Таблица 2 - Устойчивость предложенной модели к нарушению предпосылок
Сценарий | RMSE | Корр. | Смещение |
Базовый сценарий | 0,227 ± 0,030 | 0,976 | −0,061 ± 0,026 |
Повышенная дисперсия контрольной точки (σ_C = 14) | 0,274 ± 0,022 | 0,962 | −0,060 ± 0,037 |
Неверно заданные априорные распределения | 0,229 ± 0,023 | 0,976 | −0,056 ± 0,026 |
При повышении дисперсии контрольной точки (σ_C с 9 до 14) и при заведомо неверно заданных (смещённые средние начального уровня и прироста, удвоенные стандартные отклонения) средняя квадратическая ошибка возрастает умеренно, с 0,227 до 0,274 и 0,229 соответственно. Это показывает, что корректность модели не сводится к совпадению априорных распределений с механизмом порождения данных и сохраняется при их рассогласовании и при росте шума измерений.
Применимость предложенной модели проиллюстрируем на примере общепрофессиональной компетенции образовательной программы бакалавриата по направлению 09.03.03 «Прикладная информатика» ФГБОУ ВО «БГУ». Рассмотрим компетенцию ОПК-1 — способность применять естественнонаучные и общеинженерные знания, методы математического анализа и моделирования, теоретического и экспериментального исследования в профессиональной деятельности. Перечень дисциплин, формирующих компетенцию, приведен в таблице 3.
Таблица 3 - Дисциплины, формирующие компетенцию ОПК-1
Дисциплина | Семестр | Промежуточная аттестация |
Линейная алгебра | 1 | зачёт |
Математический анализ | 2 | экзамен |
Численные методы | 3 | экзамен |
Теория вероятностей и математическая статистика | 4 | экзамен |
Исследование операций | 5 | экзамен |
Для анализа сформирован датасет из 43 обучающихся по пяти дисциплинам. По каждой дисциплине строился вектор результатов текущей аттестации и одна оценка промежуточной аттестации, всего 1290 наблюдений. Оценённые траектории латентного уровня сформированности компетенции для трёх типичных профилей: со стабильно высокими оценками («отлично»); с колебаниями между «отлично» и «хорошо»; со стабильными «хорошо» приведены на рис. 3. Статистики согласия Outfit и Infit по всем пяти дисциплинам находятся в пределах допустимого диапазона 0,5–1,5 (Outfit от 0,58 до 0,88, Infit от 0,60 до 0,94), рис. 4.
Рисунок 3 - Оценённые траектории латентного уровня сформированности ОПК-1 для трёх типичных профилей оценок
Рисунок 4 - Статистики согласия Outfit и Infit по дисциплинам последовательности для примера ОПК-1
Таблица 4 - Диагностика работоспособности модели
Критерий | Полученные значения | Допустимые значения | Интерпретация |
S–X² (Орландо—Тиссен), Q1 (Йена) | p от 0,14 до 0,91 | p > 0,05 | Категориальные частоты согласуются с моделью, систематического несоответствия нет |
Q3 (Йена) — локальная зависимость | Среднее по парам 0,10; макс. по модулю 0,33 (после центрирования 0,25); «текущая–промежуточная» от −0,30 до 0,24 | |Q3| ≲ 0,2 | В среднем выраженной локальной зависимости не выявлено, однако отдельные пары измерений демонстрируют значения Q3 выше ориентировочного порога и требуют дополнительной проверки |
AIC, WAIC (полная и упрощённая модель) | ΔAIC ≈ 35; ΔWAIC ≈ 37 в пользу полной модели | Δ > 0 в пользу модели (Δ > 10 — сильное предпочтение) | Критерии AIC и WAIC свидетельствуют в пользу полной модели с краткосрочной динамической компонентой, тогда как BIC, сильнее штрафующий сложность, отдаёт предпочтение упрощённой модели |
BIC (полная и упрощённая модель) | В пользу упрощённой модели | Δ > 0 в пользу модели |
4. Обсуждение
Полученные результаты подтверждают целесообразность рассмотрения сформированности компетенции как динамической латентной характеристики, изменяющейся по мере освоения обучающимся последовательности дисциплин образовательной программы. Предложенная модель позволяет перейти от простой агрегации наблюдаемых оценок к реконструкции индивидуальной траектории формирования компетенции, учитывающей временную структуру обучения и различную измерительную природу аттестационных данных. Существенным преимуществом является согласованное включение в единую вероятностную схему накопленных баллов текущей аттестации, порядковых экзаменационных оценок и бинарных результатов зачёта.
Имитационный эксперимент показал, что модель восстанавливает латентную траекторию с малой среднеквадратической ошибкой, высокой корреляцией с истинными значениями и близким к номинальному покрытию апостериорных интервалов. Устойчивость результатов при увеличении дисперсии контрольных точек и при рассогласовании априорных распределений свидетельствует о том, что работоспособность модели не сводится к искусственному совпадению условий моделирования и оценивания. Использованные в работе статистические критерии Outfit, Infit, S–X², Q1 и Q3 показывают отсутствие выраженного систематического несоответствия модели данным в рассмотренном примере.
5. Заключение
Предложена динамическая модель оценивания латентной траектории формирования одной компетенции по результатам текущей и промежуточной аттестации. Латентный уровень сформированности описан непрерывной траекторией, связанной с последовательностью формирующих дисциплин. Разнородные шкалы оценивания, принятые в вузе и включающие накопленный балл текущей аттестации, категориальную оценку экзамена и бинарный результат зачёта, согласованы единой измерительной моделью, а оценка траектории дополнена количественной мерой неопределённости.
Практическая значимость модели определяется возможностью применения уже имеющихся в университете аттестационных процедур без обязательного введения дополнительных процедур тестирования. Дальнейшее развитие исследования целесообразно связать с расширенной апробацией модели на реальных данных разных образовательных программ, расширением её до многомерного случая с несколькими компетенциями, учётом эффектов дисциплин, преподавателей и оценочных средств, а также с интеграцией модели в цифровой профиль или цифровой двойник образовательной траектории обучающегося.