RESEARCH ON THE LEVEL OF STUDENT PERFORMANCE USING MULTIVARIATE ANALYSIS METHODS (FROM EXPERIENCE OF APPLICATION)

Актуальным направлением развития образовательной системы сегодня является повышение качества знаний, при этом одним из значимых показателей выступает уровень успеваемости обучающихся, на который оказывают влияние такие факторы как: уровень знаний обучающихся, изменения в учебной программе, методике преподавания дисциплины, переход на дистанционное обучение и др. [1], [2], [4], [17].

Как показывает опыт, практическая значимость педагогического исследования раскрывается вследствие накопления, систематизации, обработки статистических данных, поэтому рекомендации для эффективного формирования результатов обучения носят в своем большинстве вероятностный и интуитивный характер. Систематический мониторинг успеваемости – один из инструментов для принятия своевременных управленческих решений в образовании и корректировке списка факторов, оказывающих влияние на уровень успеваемости обучающихся. Для корректного анализа результатов педагогического исследования, сравнения однотипных показателей за различные периоды и их интерпретации, построения прогноза необходимо использовать методы многомерного анализа. Симбиоз факторного, регрессионного, дисперсионного, кластерного анализов позволяет построить наиболее содержательную модель при проведении педагогического исследования.

Непрекращающиеся реформы российского образования, безусловно, оказывают влияние на качество знаний обучающихся и вызывают повышенный интерес к проблеме исследования факторов, влияющих на данный показатель. В работах [1], [9], [13] построены линейные модели множественной регрессии для прогнозирования успеваемости студентов. В [9] в качестве входных параметров были учтены: оценки экзаменационных сессий студентов по общепрофессиональным или специальным дисциплинам, оценки экзаменационных сессий по обеспечивающим дисциплинам, число обеспечивающих дисциплин. В [1] при построении модели были учтены умение самостоятельно планировать работу в режиме рейтинговой оценки, самооценка владения определенными компетенциями постановки задач самосовершенствования, выполнение индивидуальных заданий. В [13] при моделировании учитывались средний балл ЕГЭ, наличие дополнительных занятий после учебы, место проживания, финансовое положение семьи, «умение использовать знания других», цель обучения, здоровье студента, наличие или отсутствие романтического увлечения.

В [10] рассматриваются методики построения деревьев решений, предназначенных для классификации студентов на основе информации, зафиксированной в личном деле, выделяя из них группу риска, т.е. первокурсников, которые с высокой долей вероятности могут быть отчислены уже по итогам первого учебного цикла.

В [8] показаны целесообразность и возможность применения теории латентных переменных для статистического анализа успеваемости студентов, определено местоположение учебных дисциплин на шкале успеваемость студентов.

В [12] предлагается авторская методика с целью идентификации дисциплин, которые осваиваются студентами с определенными сложностями, при этом осуществляют расчет суммарного балла риска каждой дисциплины и кластеризацию дисциплин.

В [7] рассматривается подход к априорной оценке успеваемости студентов с использованием искусственных нейронных сетей, интерес представляет прогнозирование ожидаемого результата студента и построение оценки на основе использования промежуточных результатов проверки знаний.

Проведенный обзор, ставший теоретической базой исследования, доказывает актуальность педагогической проблемы и необходимость расширения математического инструментария для её решения. В связи с этим целью исследования стала разработка и апробация алгоритмического подхода для исследования успеваемости обучаемых на основе проведения многомерного анализа. Для её реализации были поставлены и решены следующие задачи:

- описание шагов алгоритмического подхода для анализа успеваемости обучаемых на основе использования методов многомерного анализа;

- апробирование разработанного алгоритма в процессе анализа успеваемости одной из студенческих групп в ЛГПУ имени П.П. Семенова-Тян-Шанского.

Для решения поставленных задач использовались следующие методы исследования: анализ научно-методической литературы, системный подход, методы многомерного анализа.

Проблема неуспеваемости относится к числу вечных, причём неважно, о какой образовательной организации идёт речь, и мотивация обучаемых – одна из основных проблем современного образования. Оценка успеваемости – конечный и один из самых важных этапов процесса обучения и процесса повышения качества обучения. Применение балльно-рейтинговой системы в системе высшего образования РФ позволяет осуществлять комплексный учет успеваемости каждого студента [2].

В рамках педагогического исследования М.Ю. Карловой разработан алгоритмический подход для проведения анализа успеваемости обучаемых по статистическим данным рейтинговой системы оценивания знаний на основе использования методов многомерного анализа (рис.1).

 

Рисунок 1 - Алгоритм для проведения исследования уровня успеваемости обучаемых по данным балльно-рейтинговой системы

DOI:10.23670/IRJ.2022.123.73.1

 

На первом этапе исследования была собрана статистическая информация согласно рейтинговой системе оценивания знаний обучающихся в ЛГПУ им. П.П. Семёнова - Тян - Шанского на бакалавриате «Математика и информатика». При такой системе оценивания успеваемость студентов дифференцируется в гораздо большей степени, чем при пятибалльной системе. Для исследования была сформирована выборка только из студентов, которые составляют группу после сдачи 5 сессий и «не сошли с дистанции» по различным причинам. Выбранная студенческая группа является смешанной: в ней обучаются также будущие педагоги, для которых русский язык не является родным, кроме того, ребята имеют разный уровень школьной подготовки, как показывает практика, преподавать в таких группах дело непростое.

На втором этапе для представления структуры связей между уровнями успеваемости по семестровым данным построили матрицу корреляций, элементы которой наглядно доказывают зависимость успеваемости обучаемых от накопленного опыта при сдачи сессий: все элементы матрицы, кроме уровня успеваемости в пятом семестре, имеют значения больше 0,8, что свидетельствует о наличии мультиколлинеарности, а также о линейной и достаточно тесной связи между оценками с первого по четвёртый семестр (табл. 1).

Связь между уровнями успеваемости в четвёрном и пятом семестрах несколько ниже, чем в предыдущих, это объясняется появлением достаточно сложных специальных дисциплин из предметно-методического модуля, таких как «Дифференциальные уравнения», «ИКТ и медиаинформационная грамотность», «Веб - технологии» / «Веб - программирование», «Компьютерные сети и Интернет», «Теория вероятностей и математическая статистика», «Теория функций действительного переменного», «Языки и методы программирования», кроме того ребята писали и защищали курсовую работу по предмету «Языки и методы программирования», готовили отчёты по производственной практике: педагогическая (адаптационная) и учебной практике: ознакомительная (по профилю математика).

Действительно, студенты с течением времени понимают, как нужно готовиться к экзаменам и зачётам, более осмысленно относятся к требованиям педагогов и стараются добросовестно выполнить задания, в том числе и самостоятельно, повышают уровень образованности, применяют знания, полученные на ранних этапах обучения в вузе, учатся правильно распределять усилия при подготовке и стравляться с волнением при прохождении испытаний в рамках учебного процесса. Безусловно, рейтинговая система оценивания является мощным инструментом мотивации для студентов, желающих получать стипендию. Кроме того, в настоящее время за особые успехи в учёбе размер стипендии может быть значительно увеличен.

На третьем этапе, исходя из классического представления об оценивании, данные рейтинга были распределены по 4-м группам: «отлично успевающие», «хорошо успевающие», «удовлетворительно успевающие», «неуспевающие» (табл. 2). Такое распределение позволяет систематизировать исходную информацию по уровню успеваемости в группе и немного прояснить сложившуюся ситуацию. Полученные результаты группировки говорят о мало изменяющемся количестве обучающихся в каждой из сформированных подгрупп на протяжении исследуемого временного промежутка. В пятом семестре существенно увеличилось количество обучаемых, попавших по успеваемости в интервал [86-100]– «отлично успевающие» за счет перехода из интервала [70-85] – «хорошо успевающие». 

Результат четвёртого этапа педагогического исследования – точечные и интервальные значения базовых статистических показателей, характеризующих средний уровень успеваемости в группе (табл. 3). 

Из таблицы 3 вытекает, что группа в среднем показывает неплохой уровень успеваемости согласно рейтинговой системе, а именно заслуживает оценку «хорошо». Самый высокий уровень успеваемости обучаемые показали во 2 семестре, но при этом выборку нельзя считать однородной, т.е. студенты с разной «степенью успеха» сдали сессию (отклонение почти в 13 баллов). В 4 семестре отмечен наибольший разброс баллов (отклонение в 21 балл). Достаточно широкие доверительные интервалы, построенные надежность =0,95, также свидетельствуют о разном уровне успеваемости в группе.

На рисунке 2 приведены гистограммы успеваемости по данным бально-рейтинговой системы. Выявленные бимодальность и полимодальность распределений наглядно подтверждают неоднородность выборки в каждом семестре и, следовательно, свидетельствует о разном уроне успеваемости обучаемых в исследуемой группе. С учётом сделанных выводов целесообразно изучить внутреннюю структуру выборки и переформировать подгруппы.

Рисунок 2 - Гистограммы рейтинговой оценки группы

DOI:10.23670/IRJ.2022.123.73.5

На пятом этапе педагогического исследования для проведения кластеризации использовался пакет прикладных программ Statistica (модуль – кластерный анализ). С помощью метода k-средних кластерного анализа разбили исходные данные, характеризующие рейтинг обучаемых, исходя из классического представления об оценивании, на 4 кластера (табл. 4). В основу разбиения положен следующий принцип: вначале был определён центр кластера (выбраны 4 студента с максимально отличающимся рейтингом), а затем вокруг него сгруппированы все остальные обучаемые в пределах заданного порогового значения (в каждый кластер отбираются студенты с рейтингом достаточно близким к «центровому»).

Сравнительный анализ данных таблиц 2 и 4 говорит о том, что результаты группировок различны. Таким образом, с помощью метода k-средних удалось сформировать студенческие подгруппы с максимально «схожим» уровнем успеваемости, и в тоже время обучаемые из разных кластеров имеют максимально «отличный» уровень успеваемости.

В таблице 5 приведены евклидовы расстояния между кластерами (расстояния под диагональю, квадраты расстояний над диагональю).

Расстояния между кластерными центрами указывают, что кластеры разделены достаточно хорошо. Из расчётов вытекает, что уровень успеваемости студентов из четвёртого кластера имеет достаточный разброс по сравнению с другими кластерами, элементы которых расположены достаточно кучно вокруг центра. Наименьшее различие в уровне успеваемости между студентами второго и третьего кластеров, т.е. большая вероятность перехода из одной подгруппы в другую.

Достоинство метода k-средних кластерного анализа – это возможность наглядной интерпретации кластеров с использованиемграфика «Средних значений в кластерах». На рисунке 3 представлены графики средних рейтинговых баллов в каждом кластере, что позволяет сделать вывод о составе каждого кластера и положений кластеров друг относительно друга.

Из визуального представления следует, что в 3 кластер попали «отлично успевающие» (4 студента из 26), во 2 кластер – «хорошо успевающие» (8 студентов из 26), в 1 кластер – «удовлетворительно успевающие» (3 студента из 26), в 4 кластер – «неуспевающие» (11 студентов из 26).

Рисунок 3 - Графики средней рейтинговой оценки в каждом кластере

DOI:10.23670/IRJ.2022.123.73.8

 

Расчёт значений описательных статистик в каждом кластере рейтинговой оценки, безусловно, является важным и информативным этапом исследования (табл. 6).

Уровень успеваемости «хорошо успевающих» имеет возрастающую тенденцию, студенты, попавшие во 2 кластер, явно стремятся повысить свой уровень успеваемости и перейти в группу «отлично успевающих». Уровень успеваемости в 3 кластере – «отлично успевающие», начиная с 3 семестра, демонстрирует убывающую динамику. В этой связи можно предположить, что ребята, попавшие в данный кластер, почувствовав себя лидерами, несколько «расслабились» и не стремятся существенно повысить свои баллы. Это нехорошая тенденция, и, возможно, такая практика приведёт к переходу некоторых обучаемых из группы «отлично успевающие» в группу «хорошо успевающих». Средним 1 кластера – «удовлетворительно успевающие»и 4 – «неуспевающие» присущи колебания.

Из данных таблицы 6 вытекает, что наибольший разброс по рейтингу присущ «неуспевающим» в 4 семестре, сложившаяся ситуация указывает на то, что среднему значению (53 балла) просто нельзя доверять в данном случае и о значительной верификации баллов в кластере. Интересно, что минимальный разброс зафиксирован в том же семестре в 3 кластере – «отлично успевающие», что говорит об однородности выборки и очень близком уровне успеваемости студентов, попавшим в 3 кластер. В 4 семестре студенты сдавали следующие предметы: «Архитектура ЭВМ и систем», «Геометрия», «Иностранный язык», «Информатика», «Элективные курсы по физической культуре и спорту», «Математическая логика и теория алгоритмов», «Математический анализ», «Педагогика», «Психология», «Теория функций комплексного переменного», «Философия», кроме того ребята писали и защищали курсовую работу по предмету «Информатика», готовили отчёты по учебным практикам: ознакомительная (по профилю информатика) и ознакомительная (здоровьесберегающая).

Дисперсионный анализ выявил существенное различие в сформированных по методу k-средних кластерах: значение р<0,05 говорит о значимом различии внутри кластеров (табл. 7). Это свидетельствует о том, что у обучаемых в подгруппе (выделенном кластере) есть потенциал как повысить свой уровень успеваемости, так и понизить его.

Как справедливо замечено в [3], деление на «отличников», «троечников», «хорошистов», «двоечников» является условным и свойственное только учебным заведениям. При таком подходе к оцениванию работает критерий, который оценивает, насколько хорошо студент учится и в каком контакте находится с преподавателями, но в профессиональной среде таких критериев нет, здесь в первую очередь обращают на личностные и деловые качества человека (рис. 4). Поэтому для более детального анализа проверили, формируют ли рейтинговые оценки "естественные" кластеры, которые могут быть осмыслены. С этой целью были использованы в качестве правила объединения метод полной связи, в качестве меры близости – евклидово расстояние. Результат древовидной кластеризации – иерархическое дерево (рис. 5).

 

Рисунок 4 - Значимые критерии для профессиональнойсреды

DOI:10.23670/IRJ.2022.123.73.11

Рисунок 5 - Вертикальная дендрограмма успеваемости обучаемых в группе

DOI:10.23670/IRJ.2022.123.73.12

Читая диаграмму сверху с рейтинговой оценки каждого студента в своем собственном кластере при смещении вниз проследили объединение и формирование кластеров из обучаемых, которые по успеваемости «теснее соприкасаются друг с другом». Положение узлов на вертикальной оси определяет расстояние, на котором были объединены соответствующие кластеры. На основании схемы объединения согласно методу полной связи сформирована таблица 8, в которую попала первая десятка из обучаемых, имеющих близкий уровень успеваемости.

На шестом этапе, проведя анализ данных таблицы 8, делаем вывод о том, что у группы есть потенциал повысить уровень успеваемости. Этого можно добиться при работе малыми группами, при этом:

- общее задание для C_3 и C_5 позволит повысить индивидуальный уровень успеваемости C_5;

- нецелесообразно давать совместное задание и объединять в пары C_19 и C_20, C_16 и C_17, C_24 и C_26 так как, скорее всего, работа не будет выполнена на должном уровне, лучше каждого из этих обучаемых прикрепить к «более сильному» по успеваемости одногрупнику, который станет «локомотивом» и поможет товарищу лучше разобраться в проблеме и повысить свою успеваемость.

Активное включение студентов в процесс разработки и реализации практических инновационных проектов, их участие в различных научно-исследовательских клубах благоприятно скажется на развитии интеллектуального, творческого и делового потенциала будущих педагогов. Интересная проектно-исследовательская деятельность под руководством опытного наставника способна повысить уровень учебно-профессиональной мотивации студентов с различным уровнем успеваемости, создать предпосылки для повышения эффективности подготовки к будущей профессиональной деятельности.

Кроме того, развитие индивидуальных образовательных траекторий в вузе – один из существенных ресурсов повышения уровня качества образования в современных реалиях. Именно при проектировании индивидуальных образовательных траекторий выявляются сильные и слабые стороны студента, возможные пробелы в полученных знаниях, методы и возможности их решения [16].

Нельзя не отметить, что опыт кураторов по адаптации обучаемых позволяет максимально сохранить контингент студентов на первом и последующих курсах, успешно решать вопросы по их обучению и воспитанию, сплотить коллектив и научить ребят взаимопомощи, прививать любовь к выбранной профессии.

В заключение отметим, что систематическая проверка знаний, умений и навыков студентов в процессе их обучения является неотъемлемой составляющей всего учебно-воспитательного процесса, и предложенный алгоритмический подход для проведения исследования уровня успеваемости обучаемых по данным балльно-рейтинговой системы может служить инструментом объективной оценки. Полученные результаты педагогического исследования помогут руководству отрегулировать обучение для повышения качества обучения, помочь преподавателям корректировать свою педагогическую деятельность, что в свою очередь приведёт к улучшению образовательных результатов и повысить уровень успеваемости, как в отдельно взятой группе, так и в целом по вузу.