PROBLEMS OF DISTANCE ONLINE MATHS TESTING USING LMS MOODLE
PROBLEMS OF DISTANCE ONLINE MATHS TESTING USING LMS MOODLE
Abstract
One of the areas of digital transformation of higher education is the digitization of student learning outcomes evaluation. However, the widespread use of online testing raises new pedagogical challenges. In particular, test security and overcoming academic dishonesty, which are still relevant. The aim of this article is to conduct a comparative analysis of learning outcomes in higher mathematics using online testing on the LMS Moodle platform and traditional evaluation of engineering students. The article highlights the problems associated with online distance testing. Methodological recommendations for effective use of electronic formative assessment, in which students do not need to cheat, are presented in the work. The experiment has shown that this technique is successful and should be used in the process of teaching other disciplines.
1. Введение
Высшее образование сегодня претерпевает глубокую цифровую трансформацию всех сфер деятельности. Одним из направлений цифровой трансформации является оцифровка оценивания результатов обучения студентов. Электронное тестирование, мониторинг знаний и компетенций обучающихся существует уже много лет. Однако в последнее время совершенствование и развитие электронного оценивания приобрело особую актуальность. Не последнюю роль в этом процессе сыграл массовый переход университетов на удаленное обучение в период мировой пандемии COVID-19. В это время каждый вуз встал перед серьезными проблемами:
1. Как без потери качества образования проводить мониторинг, контроль и оценивание результатов обучения студентов во время очного и дистанционного обучения?
2. Какие должны быть использованы электронные инструменты для организации и проведения оценивания?
3. Как эти инструменты интегрированы в экосистему университета?
4. Насколько достоверны полученные результаты?
В современном университете открытые системы управления обучением (LMS) обеспечивают взаимодействие между традиционными методами обучения, цифровыми учебными ресурсами и одновременно предлагают студентам персонализированные возможности электронного и смешанного обучений. Среди топ-20 наиболее популярных LMS платформ, активно используемых университетами в разных странах мира, можно назвать LMS Moodle. Данная обучающая система позволяет эффективно организовать дистанционное и смешанное обучение. Результаты последнего во многом зависят от мониторинга и системы оценивания достижений студентов, достоверности полученных во время тестирования результатов и связанные с этим проблемы академической честности обучающихся. Цифровые технологии способствуют изменениям в обучении и преподавании, однако изменения, которые являются устойчивыми и масштабными, требуют многогранного системного подхода .
В заключение отметим, что педагогическое сообщество активно обсуждает необходимость использования онлайн-тестов и онлайн-экзаменов в университетской среде, для которых подходит платформа LMS Moodle. Однако широкое применение онлайн-тестирования в учебном процессе порождает новые педагогические проблемы. Методическое применение электронных учебных обучающих платформ, безопасность электронных тестов, достоверность результатов, академическая добросовестность, применение технологий прокторинга во время тестирования – эти проблемы по-прежнему не решены.
Целью статьи является сравнительный анализ результатов обучения по высшей математике с использованием онлайн-тестирования на платформе LMSMoodle и традиционного оценивания студентов инженерных специальностей. Также представлены методические рекомендации по эффективному применению электронного тестирования в процессе смешанного обучения в высшей школе.
2. Методы и принципы исследования
В статье проведен подробный анализ проблем тестирования в LMS Moodle с применением технологии прокторинга. Рассмотрены связанные с онлайн-тестированием проблемы академической честности. Также представлены пути преодоления очерченных проблем.
В рамках исследования использованы эмпирические (изучение научных публикаций по теме исследования, наблюдение), теоретические (анализ, синтез, построение гипотезы) и экспериментальные методы исследования. В исследовании приняли участие 72 студента строительного факультета Санкт-Петербургского государственного архитектурно-строительного университета.
3. Анализ последних публикаций
Недавний систематический обзор тенденций применения LMS Moodle для преподавания и обучения особенно в STEM-образовании провели Гэймадж С.Х.П.В. (Gamage S.H.P.W.) и соавт. в (2022 г.). Падаячи П. (Padayachee P.) и соавт. (2018 г.) рассмотрели онлайн-оценку с применением цифровых инструментов LMS Moodle в системе высшего образования ЮАР. Соареш Ф. (Soares F.) и соавт. (2018 г) использовали платформу Moodle для оценки математических программ в политехническом институте Порту. В работах Бобкова Г. С. и соавт. (2020 г.)., Л. П. Конновой и соавт. (2022 г.) так же рассмотрен текущий контроль с применением LMS Moodle. Все перечисленные авторы предлагают корректирующий подход к оцениванию математических дисциплин в системе LMS Moodle.
Моррис Р. (Morris R.) и соавт. в (2021 г.), Кая-Капоччи С. (Kaya-Capocci S.) и соавт. (2022 г.) в своих недавних работах представили систематический обзор проблем формирующего оценивания и обратной связи при обучении студентов в высшей школе. Гревинг С. (Greving S.) и соавт. в (2018 г.) описали вопросы эффекта тестирования в университетском образовании.
Актуальными для данного исследования являются проблемы безопасности применения онлайн-тестов и проведения электронных экзаменов. В недавней работе Чирумамилла А. (Chirumamilla A.) и соавт. (2021 г.) были раскрыты ключевые особенности системы электронного экзамена и связанные с ним проблемы безопасности в университетах Норвегии.
Отметим также исследования Гудиньо Паредес С. (Gudiño Paredes S.) и соавт. (2021 г.), Одри Р. (Awdry R.) и соавт. (2022 г.), Такрими А. (TakrimiA.) и соавт. (2022 г.), Хендерсон М. (Henderson M.) и соавт. (2022 г.), в которых особое внимание уделяется проблемам академической нечестности во время онлайн-тестирования в системе высшего образования. Интересными для нашего исследования являются работы Сусняк Т. (Susnjak T.) (2022 г.), Perkins M. (Perkins M.) (2023 г.), в которой автор рассматривает проблемы использования технологий искусственного интеллекта (ИИ) и академической честности на онлайн-экзаменах. Этические стороны онлайн-экзаменов с применением технологий прокторинга изучены Коглан С. (Coghlan S.) и соавт. (2021 г.), Ли К. (Lee K.) и соавт. (2022 г.).
4. Теоретическое обоснование исследования
В систематическом обзоре Гэймадж С.Х.П.В. (Gamage S.H.P.W.) и соавт. справедливо указывается, что система управления обучением LMS Moodle широко используется в НТИМ-образовании (STEM-education (Science, Technology, Engineering, and Mathematics)). Этот обзор показывает, что LMS Moodle и связанные с ними инструменты повышают успеваемость, мотивацию, сотрудничество и вовлеченность студентов в учебный процесс. Также использование LMS требует решения вопросов академической добросовестности, этики, безопасности, повышения скорости, улучшения навигации, а также включения технологии ИИ в экосистему университета.
Наиболее распространенными инструментами LMS Moodle для оценивания результатов обучения являются тесты. Они имеют широкий круг возможностей для создания разнообразных заданий по математике для студентов инженерных специальностей. Данные тесты могут быть использованы для текущего, формирующего, итогового оценивания студентов.
Соареш Ф. (Soares F.) и соавт. подчеркивают, что внедрение надежной и хорошей электронной оценки, по крайней мере, в области математики, очень своевременная, трудоемкая и далеко не простая задача. С точки зрения Моррис Р. (Morris R.) и соавт. , Кая-Капоччи С. (Kaya-Capocci S.) и соавт. , электронное оценивание при помощи системы LMS дает хорошую обратную связь, так как позволяет сразу предоставить обучающимся результаты тестирования, возможность повторного прохождения тестов. Также в качестве обратной связи можно рассматривать проведение электронных тестов на регулярной основе по отдельным дидактическим единицам темы. Затем студенты проходят электронное формирующее оценивание по теме, по дисциплине в целом. Гревинг С. (Greving S.) и соавт. считают, что повторение пройденного материала имеет решающее значение для процесса обучения. Это повторение заключается в ответах на вопросы о содержании обучения, а не в повторном изучении материала. Неоднократное тестирование лучше повторного изучения учебного материала. Авторы называют его эффектом тестирования или эффектом повторной практики .
В связи с электронными онлайн-тестами остаются открытыми проблемы достоверности полученных результатов. Так, Л. П. Коннова и соавт. в «пришли к выводу, что помимо проверки ответа системой Moodle, необходима проверка письменного решения преподавателем» . При этом, по мнению авторов, имеет место значительное расхождение в этих оценках. Поэтому для повышения достоверности полученной оценки Л. П. Коннова и соавт. предлагают корректировать результаты электронного тестирования в «ручном режиме».
Это действительно повышает качество результатов тестирования, так как позволяет устранить неточности машинной проверки. Однако данный прием сильно усложняет процесс для преподавателей, ведь приходится фактически заново проверять задания.
Кроме того, при прохождении студентами электронных тестов в онлайн-режиме за территорией кампуса особенно остро встает проблема преодоления академической нечестности. Даже если студент выполняет тест в аудитории со своего гаджета под присмотром преподавателя, нет никакой гарантии, что он не пользуется сторонними ресурсами или не делится с сокурсниками решениями.
Данный вопрос широко обсуждается педагогической общественностью, так как развитие технологий и переход в онлайн-формат выдвигает новую проблему: как предотвратить мошенничество во время онлайн-тестирования, не навредив при этом студенту? Академический проступок можно в широком смысле определить как попытку учащегося обманом получить признание за академическую работу, выполненную не им самим .
Некоторые авторы, например, Гудиньо Паредес С. (Gudiño Paredes S.) и соавт. , Ли К. и соавт. выделяют треугольник академического мошенничества: стимул относится к роли внутреннего и внешнего давления как мотивации списывании; возможность относится к способности вести себя нечестно из-за неадекватных механизмов предотвращения этого; рационализация относится к представлению о том, что учащийся рассматривает нечестное поведение как не нарушающее его внутренние этические нормы . С точки зрения Ли К. и соавт. , негативное влияние внедрения технологий прокторинга на субъектность учащихся, педагогические отношения и результаты обучения значительны, но до конца не обсуждались и требуют дельнейшего исследования.
Интересными для нашего исследования являются работы Сусняк Т. (Susnjak T.) , Перкинс М. (Perkins M.) , рассматривающие потенциал использования технологии ChatGPT (чат-бот с искусственным интеллектом) в качестве инструмента для академических проступков на онлайн-экзаменах. По мнению автора, современный ChatGPT способен демонстрировать навыки критического мышления и генерировать очень реалистичный текст с минимальным вводом, что делает его потенциальной угрозой целостности онлайн-экзаменов, особенно в высших учебных заведениях. Вне всякого сомнения, искусственный интеллект является потенциальной угрозой академической честности онлайн экзаменов ближайшего будущего.
Безопасность проведения тестирования является ключевой проблемой для университетов, и это приводит к принятию различных мер противодействия обману. Так, одним из видов предотвращения академической нечестности является ограничение времени выполнения теста, введение системы онлайн-прокторинга. Действительно, идентификация личности студента, слежение за обучающимся во время выполнения задания уменьшает количество академических проступков. Однако использование системы прокторинга несет дополнительные расходы учебного заведения на закупку программного обеспечения, обучения персонала умению пользоваться данным оборудованием, интеграцию этого ПО в электронную экосистему университета.
Однако, по мнению Коглан С. (Coghlan S.) , технологии контроля за проведением онлайн экзаменов последнее время вызвали серьезные споры и опасения. Ли К. (Lee K.) и соавт. считают, что онлайн-прокторинг серьезно затруднен из-за ограниченной способности учителей наблюдать за поведением учащихся и контролировать его, поскольку ученики только частично отображаются в крошечных прямоугольниках галереи. На первый взгляд, кажется справедливым и естественным контролировать и предотвращать списывание учеников. Однако такая бинарная субъективация поощряет определенных людей и их поведение (т. е. мошенничество и жульничество); тем самым он эффективно переключает внимание университета и преподавателей с более фундаментальных проблем на конкретные индивидуальные действия или межличностные проблемы и отношения.
Коглан С. (Coghlan S.) также говорит о том, что назрела критическая оценка этической стороны применения технологий онлайн-прокторинга в университетской среде. Обсуждая понятие академической честности во время тестирования, необходимо сосредоточить внимание на понятиях справедливости, непричинения вреда обучающемуся, прозрачности, конфиденциальности, автономии, свободе и доверии.
Заметим, что быстрое и противоречивое распространение программного обеспечения для прокторинга представляет собой плодотворный этический пример того, как ИИ проникает во все сферы жизни. От того, сможет ли преподаватель органически вписать цифровые технологии в учебный процесс, во многом зависит, какой багаж теоретических и практических знаний, профессиональных и общекультурных компетенций вынесет студент из своего обучения .
5. Основные результаты
В СПбГАСУ на кафедре математики разработано несколько десятков индивидуальных электронных учебных курсов (ЭУК) по математике. Имеются единые ЭУК, связанные с теоретической подготовкой студентов по математике для бакалавриата и специалитета, и порядка десяти индивидуальных ЭУК, отличающихся наполнением учебных материалов преподавателями. При этом в системе LMS Moodle функционирует единый банк тестовых заданий для электронного тестирования по всем темам и разделам математики. Это позволяет иметь на кафедре большой запас заданий разного уровня сложности и разного типа использования инструментов тестирования. Отметим также, что банк заданий постоянно усовершенствуется и расширяется. Это позволяет включать в тестирование разнообразные и неповторяющиеся задания. Именно такой банк заданий был использован в нашем исследовании. Было решено провести сравнительный анализ достоверности результатов онлайн-тестирования в среде LMS Moodle с применением технологии онлайн-прокторинга и традиционной проверки контрольных работ преподавателем. Рабочей гипотезой было следующее утверждение: нормально распределенные случайные величины играют важную роль во многих областях знаний. Если на физическую величину оказывает влияние большое число слабо взаимозависимых величин, каждая из которых вносит малый вклад относительно общей суммы, то центрированное и нормированное распределение такой величины при достаточно большом числе слагаемых стремится к нормальному распределению. Ясно, что такая ситуация крайне распространена, поэтому можно сказать, что из всех распределений в природе чаще всего встречается именно нормальное распределение – отсюда и произошло его название. Поэтому, если результаты выполнения электронного тестирования и традиционных контрольных работ подчиняются этому закону, то результаты можно считать достоверными с высокой степенью вероятности. Если же будут отклонения от нормального распределения, то результаты могут быть подвергнуты сомнению, в том числе есть подозрение на академический проступок студентов.
Для исследования были отобраны три группы студентов второго курса СПбГАСУ специальности 08.03.01 «Строительство». В третьем семестре по высшей математике изучается раздел «Теория вероятностей и математическая статистика». В течение семестра со студентами были проведены четыре работы: тест 1 по теме «Случайные события» (6 заданий); контрольная работа 1 по теме «Случайные события» (6 заданий по 5 баллов каждое); тест 2 по теме «Случайные величины» (7 заданий по 1 баллу каждое); контрольная работа 2 по теме «Случайные величины» (5 заданий по 5 баллов каждое).
Электронное тестирование было дистанционным, ограниченным по времени и с возможностью прохождения только один раз. Также во время тестирования была подключена технология он-лайн прокторинга. Варианты заданий в тестах были двух типов: 1) с выбором ответа; 2) вычисляемый. Содержание тестов и контрольных работ было одинаковым. Контрольные работы студенты писали в аудитории под присмотром преподавателя.
В результате было собрано 72 статистических данных (X, Y). Первое число из пары X – это суммарные баллы за дистанционные домашние тесты, второе Y – суммарные баллы за контрольные работы. Максимальное количество баллов за тестирование – 13 баллов, за контрольные работы – 55 (см. табл. 1).
Таблица 1 - Статистические данные
X | Y | X | Y | X | Y | X | Y |
4 | 3 | 9 | 18 | 12 | 24 | 12 | 35 |
4 | 4 | 13 | 14 | 9 | 28 | 12 | 36 |
6 | 4 | 9 | 18 | 12 | 25 | 11 | 38 |
10 | 4 | 10 | 18 | 12 | 26 | 12 | 39 |
5 | 9 | 11 | 18 | 11 | 27 | 13 | 39 |
4 | 13 | 12 | 17 | 12 | 26 | 13 | 40 |
6 | 11 | 10 | 20 | 11 | 28 | 12 | 41 |
10 | 9 | 6 | 24 | 10 | 30 | 12 | 44 |
5 | 17 | 7 | 23 | 11 | 32 | 12 | 45 |
10 | 13 | 11 | 20 | 10 | 33 | 13 | 45 |
12 | 11 | 10 | 21 | 12 | 32 | 11 | 48 |
8 | 16 | 9 | 22 | 13 | 31 | 12 | 48 |
12 | 12 | 11 | 20 | 11 | 33 | 12 | 50 |
11 | 13 | 8 | 24 | 12 | 33 | 13 | 50 |
8 | 18 | 11 | 21 | 12 | 33 | 12 | 52 |
8,5 | 18 | 11 | 22 | 12 | 33 | 11 | 54 |
5 | 22 | 12 | 23 | 12 | 33 | 12 | 54 |
11 | 16 | 10 | 25 | 10 | 36 | 12 | 35 |
Сгруппируем статистические данные. Объем выборки 72 разобьем на 7 частичных интервалов. Минимальное значение Х равно 4, максимальное – 13. Шаг по переменной Х составляет 1,29. По Y, разделив интервал [3; 54] на 7 частей, получаем шаг 7,29.
В результате группировки получили вариационные ряды (см. табл. 2, табл. 3).
Таблица 2 - Вариационный ряд Х
Середины xi | 4,64 | 5,93 | 7,21 | 8,50 | 9,79 | 11,07 | 12,36 |
Частоты ni | 6 | 3 | 1 | 9 | 10 | 14 | 29 |
Таблица 3 - Вариационный ряд Y
Середины yi | 6,64 | 13,93 | 21,21 | 28,50 | 35,79 | 43,07 | 50,36 |
Частоты ni | 6 | 11 | 19 | 12 | 12 | 5 | 7 |
Рисунок 1 - Гистограмма частот X
Рисунок 2 - Гистограмма частот Y
Вычислим числовые характеристики выборок (см. табл. 4).
Таблица 4 - Числовые характеристики выборок
Величина | X | Y |
Выборочное среднее, баллы | 10,29 | 26,88 |
Выборочная дисперсия | 5,86 | 153,67 |
Выборочное среднее квадратическое отклонение, баллы | 2,42 | 12,40 |
Коэффициент эксцесса | 0,19 | -0,72 |
Коэффициент асимметрии | -1,12 | 0,31 |
Коэффициенты эксцесса и асимметрии величины безразмерные.
Критерий Пирсона показал, что при уровне значимости можно принять гипотезу о том, что случайная величина Y распределена нормально, так как полученное по выборке значение
оказалось меньше табличного
. Для случайной величины Х значение
слишком велико, следовательно, распределение не является нормальным. Коэффициент асимметрии у первой выборки (-1,12) по абсолютной величине в 3,5 раза больше, чем у второй выборки (0,31). Если распределение нормальное с параметрами a (математическое ожидание) и s (среднее квадратическое отклонение), то 68% статистических данных попадают в интервал [a - σ; a + σ]. В действительности, 65,27% статистических данных Y попали в интервал [14,48; 39,28]. Однако для случайной величины Х таких заключений сделать нельзя. Согласно статистическим данным 59,7% решили тесты на 11-13 баллов, что недопустимо в нормальном распределении.
Исследование показало, что дистанционное тестирование не отвечает нормальному распределению, значит, эти результаты вызывают сомнения в достоверности.
6. Обсуждение результатов
Проведенное исследование показало, что дистанционное домашнее электронное тестирование, даже при наличии технологии онлайн-прокторинга, может быть недостоверным. Однако сама идея онлайн-тестирования вне кампуса университета в удобное для студента время остается привлекательной. Как уже отмечалось, преподавателями кафедры математики СПбГАСУ создан обширный банк заданий и имеются разработанные тесты практически по всем темам и разделам курса высшей математики. Мы взяли на вооружение идею, что повторение пройденного материала через систематическое решение тестов приводит к гарантированным результатам, и апробировали следующую методическую систему. Студенты имели возможность проходить онлайн-тестирование в удобное для себя время без прокторинга на регулярной основе по отдельным дидактическим единицам учебного материала. Если обучающийся набирал менее 75% баллов, то он имел возможность пройти данный тест несколько раз. Однако студенты были поставлены в известность, что результаты теста учитываются преподавателем только в случае, если студент напишет контрольную работу в аудитории на положительную оценку. В результате такого методического подхода убирается первый фактор треугольника мошенничества – стимул: у студентов отпадает необходимость в списывании или привлечении к решению сторонних лиц, так как все равно приходится полученные знания применять в контрольной работе. Также повторение пройденного материала осуществляется за счет многократного решения тестовых заданий. В результате эксперимента повысилось качество знаний, а оценки онлайн-тестов и контрольных работ примерно совпадали.
7. Заключение
Проведенное исследование показало, что применение современных технологий в сфере высшего образования требует новых подходов. Так, применение открытой системы управления обучением LMS Moodle предоставляет университету широкие возможности в проектировании и построении цифровой сбалансированной экосистемы университета. В частности, LMS Moodle позволяет создавать разнообразные тестовые задания и проводить эти тесты в режиме онлайн. Важную роль при проведении удаленного тестирования играет безопасность и преодоление академической нечестности. Эти проблемы по-прежнему остаются актуальными. Экспериментальная работа показала, что достоверность результатов электронного тестирования, даже с применением технологии прокторинга, может вызывать сомнения. Однако сама идея онлайн тестирования привлекательна, так как имеет ряд преимуществ перед традиционным тестированием в аудитории.
Считаем, что применение вышеизложенного методического подхода приведет к положительным результатам. У студентов отпадает необходимость в списывании, они самостоятельно повторяют материал с помощью многократного тестирования. Рекомендуем его применение при проведении онлайн тестирования в процессе обучения другим дисциплинам.