Analysis of digital data indicators using artificial intelligence technologies to adjust programmes and/or the learning process
Analysis of digital data indicators using artificial intelligence technologies to adjust programmes and/or the learning process
Abstract
Digital technologies, including artificial intelligence, are increasingly being used in education to improve the quality of students’ learning. Difficulties in mastering academic subjects are due to many reasons, but some of these can be minimised by the teacher, as the author of the curriculum, through their activities. These include methodological shortcomings in the curricula developed by teachers, which often require systematic updating. Teachers can also regulate the learning process by utilising a complex set of tools that combines traditional teaching methods with digital tools, supplemented by recommendations from artificial intelligence models.
This article is devoted to identifying difficulties in mastering academic disciplines with a goal of revising the curriculum and adjusting the learning process. These difficulties were identified using the ‘ease index’ metric of the Moodle platform while students were completing test assignments.
The work is based on the example of the ‘Software Packages’ module within the information cycle. The need to revise the discipline program and adjust the learning process was identified through an analysis of test assignments completed by second-year students on the full-time and part-time programmes at the Faculty of Sector and Market Economics, Chelyabinsk State University, and through a survey of lecturers using the Moodle platform. The difficulties in mastering the course material were identified using the ease index for the sections of the ‘Application Software Packages’ course programme: ‘Classification of software. Main types of application software packages’. Artificial intelligence technologies were used to analyse the difficulties encountered in studying the material and to develop corrective methodological recommendations for overcoming them.
1. Введение
Качество обучения студентов зависит от многих факторов, среди которых важное место занимают технологии и методы обучения, профессиональное мастерство преподавателя, его знаний технологий, его способность гибко изменять методы и формы обучения в зависимости от особенностей контингента студентов. Преподавателям предоставляется возможность планирования и изучения процесса формирования знаний у обучающихся. Преподаватели составляют рабочие программы практически без их апробации в силу недостатка времени, а с помощью электронных технологий (например, системы прикладных программ Moodle) наблюдают результаты освоения учебного материала, что тоже экономит время. Несмотря на наличие специализированных программ повышения квалификации подготовки преподавателей к работе в среде Moodle, они зачастую носят преимущественно ознакомительный характер, что позволяет преподавателям получить теоретические представления о цифровых инструментах, но не обеспечивает формирования прикладных навыков их эксплуатации. В этой связи по нашим наблюдениям преподаватели недостаточно используют возможности этих технологий для корректировки рабочих программ и процесса обучения.
Беседуя с преподавателями, мы обнаружили что в основном, функционал тестирования в приложении программ Moodle используется для выставления зачётов студентам, т.е. тесты используются как инструмент аттестации, фиксирующий конечный результат освоения дисциплины. Преподаватели фактически не пользуются показателями, предоставляемыми электронными системами, для изучения процесса формирования знаний и качества рабочих программ с целью их корректировки в зависимости от особенностей обучающихся. В частности, не пользуются таким показателем как «индекс лёгкости».
Целью настоящей статьи является описание опыта использования возможностей цифрового инструментария, включая возможности генеративного искусственного интеллекта, для корректирования и регулирования процесса обучения студентов, то есть на практике показать, как можно интегрировать современные цифровые решения, в том числе нейросетевые технологии в рамках реализации конкретных образовательных задач. В основу исследования была положена гипотеза о том, что, что анализ накопленных цифровых данных поможет проводить коррекцию рабочих программ и/или процесса освоения учебных дисциплин для улучшения качества обучения студентов.
Система Moodle предоставляет возможность для выявления трудностей освоения учебного материала путём анализа показателя «индекс лёгкости». По этому показателю можно судить о трудности освоения учебного материала. Наиболее усвоенному учебному материалу соответствует индекс лёгкости, приближающийся к 100%, трудному материалу соответствует индекс лёгкости, приближающийся к 0%. Причины появления трудностей можно установить с помощью методов традиционной педагогики. Характер трудностей и различные рекомендации по их преодолению описаны как в отечественных исследованиях, так и в открытых информационных ресурсах , , , . Для выбора эффективных мер преодоления трудностей существует возможность обращения за консультацией к системам искусственного интеллекта.
В работе использовались созданные нами компьютерные тесты в модульной объектно-ориентированной динамической обучающей среде Moodle. Эта система автоматически обрабатывает результаты теста и предоставляет преподавателю развернутую статистику по выполнению отдельных заданий , , , .
Исследование реализовано на базе дисциплины «Пакеты прикладных программ», изучение которой для студентов экономических направлений обусловлено необходимостью формирования цифровых компетенций, в частности, в области анализа данных и инструментальной грамотности на современном рынке труда , .
Отметим, что в беседе со студентами очной формы обучения нами была выявлена одна из трудностей при освоении дисциплины «Пакеты прикладных программ» — это «изучение различных программ на персональном компьютере» . Необходимые знания и умения студенты приобретают в ходе изучения различных видов прикладного программного обеспечения, а также при рассмотрении стандартного офисного пакета , .
2. Методика проведения исследования
Работа проводилась последовательно в несколько этапов.
1) Составление тестовых заданий. Были использованы задания типа «множественный выбор», в которых студентам предлагалось выбрать один или два правильных ответа из четырех предложенных.
2) Тестирование студентов и первичный анализ результатов. Качество тестовых заданий оценивалось по показателям индекс дискриминации и стандартное отклонение. Вопросы с этими показателями менее 30% были исключены из рассмотрения в нашей работе.
3) Анализ трудности освоения учебного материала проводился по показателю «Индекс лёгкости», который характеризует успешность выполнения задания. Чем ближе индекс легкости к 100%, тем легче задание . Если показатель лёгкости 100%, то задание очень простое (с ним справились все студенты), если же индекс лёгкости равен 0%, то задание чрезмерно трудное. Трудность каждого задания была определена по размытой порядковой шкале оценок: трудные (индекс лёгкости от 1 до 33%), средней степени трудности (индекс лёгкости от 34 до 67%) и лёгкие (индекс лёгкости от 68 до 100%).
4) Кластерный анализ. Трудные тестовые задания были разделены в соответствии с их принадлежностью разделам учебной программы обучения путём сопоставления с содержанием программы и компетенций по ФГОС, с содержанием лекционного материала;
5) Выявление причин возможных причин возникновения трудностей освоения учебного материала. Разделение трудных тестовых вопросов на теоретические и практические.
6) Применение искусственного интеллекта для генерации предложений по актуализации содержания рабочей программы по дисциплине и методических рекомендаций по регулированию учебного процесса с целью повышения качества освоения образовательных результатов.
3. Анализ результатов исследования
Анализ трудностей освоения учебного материала дисциплины «Пакеты прикладных программ» проводился на основе базы данных тестирования в системе Moodle более 350 студентов второго курса очно-заочной и заочной формы обучения кафедры «Экономики отраслей и рынков» Челябинского государственного университета по таким направлениям подготовки бакалавров и специалистов экономического профиля: экономика, менеджмент, управление качеством и таможенное дело.
При настройке тестовых заданий с несколькими правильными ответами учитывалось требование давать отрицательные баллы за неправильные ответы, чтобы исключить возможность получения высшего балла при выборе тестируемыми всех ответов . В случае, если тестируемый выбирал только неправильные ответы, то за вопрос получал отрицательный балл. Количество возможных ответов на вопросы теста обеспечивала вероятность угадывания правильного ответа не более 0,25.
Вопросы теста относились к трем разделам дисциплины «Пакеты прикладных программ».
1. Классификация программного обеспечения. Основные виды пакетов прикладных программ.
2. Интегрированные пакеты прикладных программ офисного назначения.
3. Проблемно-ориентированные пакеты прикладных программ в таможенном деле, в экономике, в менеджменте, в управлении качеством (в соответствии с профилем обучения).
Всего было составлено 169 тестовых заданий по дисциплине обучения. По данным предварительного тестирования проведено исследования качества тестовых заданий по критериям, указанным в работе . 6 тестовых заданий не удовлетворили установленным критериям качества, таким как индекс дискриминации и стандартное отклонение: эти показатели были менее 30%. Эти задания были исключены из рассмотрения. Анализу по показателю индекс лёгкости были подвергнуты 163 тестовых вопроса.
К трудным были отнесены задания с индексом лёгкости менее 33%, к лёгким – задания с индексом лёгкости не менее 70%.
Распределение по трудности тестовых заданий по дисциплине «Пакеты прикладных программ» оказалось следующим: 37 заданий оказались трудными (индекс лёгкости от 1 до 33%), 84 задания средней степени трудности и 52 задания были лёгкими.
Рисунок 1 - График распределения по трудности тестовых заданий
Распределение оказалось близким к нормальному (рис. 1). Следовательно, статистические показатели можно было использовать для проведения анализа базы данных системы Moodle.
Далее в соответствии с целью настоящей работы проводился анализ только трудных заданий. Всего таких заданий оказалось 36.
Сначала был проведён кластерный анализ, состоящий в соотнесении трудных тестовых заданий с разделами учебной программы дисциплины «Пакеты прикладных программ». Оказалось, что наибольшее число трудных вопросов (33, т.е. 92% от числа всех трудных заданий) относятся к первому разделу учебной программы дисциплины, 3 трудных задания относятся ко второму разделу и 1 к третьему.
В первом разделе дисциплины сосредоточен теоретический материал: понятия, классификация и виды прикладных программ. Второй и третий разделы — это практический материал, направленный на изучение управления в пакетах прикладных программ и применение программ.
С целью выявления причин возникновения трудностей освоения учебного материала далее проводился анализ путём сопоставления каждого трудного задания с содержанием компетенций ОПК-5 по ФГОС, а также с лекционным материалом. Наиболее трудными оказались теоретические вопросы, относящиеся к первому разделу учебной программы. Этот раздел дисциплины предполагает:
1) наличие базовых школьных знаний о программном обеспечении ЭВМ;
2) освоение знаний о наборе средств для взаимодействия двух систем;
3) теоретическое освоение различных программ, которые связаны с определениями понятиями, с усвоением понятий, то есть это те знания, которые являются фундаментом для освоения последующих разделов программы обучения.
К обсуждению результатов и выработке рекомендаций по улучшению освоения студентами учебного материала в качестве консультанта были привлечены ресурсы искусственного интеллекта (ИИ). В качестве основных инструментов использовались модели GPT-4o, российская большая языковая модель GigaChat Pro и YandexGPT 3 (версия Pro).
Процедура исследования включала подачу структурированного запроса, содержащего:
1) описание контекста (учебная дисциплина, целевая аудитория);
2) массив данных о результатах тестирования;
3) задачу на выявление причинно-следственных связей.
Был использован детализированный промпт: «проанализировали ответы студентов по проверке качества освоения учебной дисциплины. Большинство неверных ответов было по определениям понятий по первой части программы обучения. Какой может быть причина не усвоения понятий?»
В ответ на запрос системами были сформированы отчеты, отражающие основные возможные причины не усвоения понятий: недостаточная объяснительная база, высокая плотность информации, слабая мотивация на старте, неэффективные методы проверки понимания, когнитивные перегрузки, проблемы с запоминанием.
Был сделан вывод о теоретической перегруженности первого раздела программы и слабой его связью со вторым и третьим разделами программы обучения. Наблюдение за студентами показало, что у студентов недостаточно полно сохраняется информация первой части программы обучения для последующего воспроизведения при изучении второй и третьей части программы (проблемы с запоминанием, с усвоением). Для улучшения качества обучения дисциплине требовалось либо внести изменения в программу обучения, либо в процесс обучения.
Для выбора пути коррекции моделям ИИ был задан второй вопрос: «В учебной программе первая часть посвящена определениям понятий, которые встречаются во второй части, в которой изучаются инструменты. Третья часть посвящена изучению использования инструментов. После изучения дисциплины по этой программе было проведено тестирование, которое показало, что основные трудности освоения дисциплины связаны со слабым запоминанием понятий первой части, что отразилось на вторую и третью части. Как скорректировать программу обучения с целью лучшего освоения учебной дисциплины?»
Ответ ИИ: «Основная проблема – отрыв теории от практики, поэтому ключевое решение — не давать определения изолированно, а постоянно связывать их с последующим материалом через повторение, практику и интерактивные методы. Лучший подход — комбинация циклического повторения, активного обучения и встроенного контроля».
Нами был сделан вывод: качество освоения учебного материала может быть улучшено за счёт коррекции процесса обучения, без изменения программы обучения. Учитывая рекомендации ИИ, мы применили подход «циклическое повторение». Точнее квазициклическое повторение. Трудные понятия повторяли во второй и третьей части обучения дисциплины до практически полного воспроизведения этих понятий большинством студентов. Используя статистические возможности LMS Moodle, мы сравнили средний балл в выходном тестировании студентов текущего года обучения с прошлым курсом. Он стал на 0,6% выше.
Таким образом был скорректирован (отрегулирован) процесс обучения студентов дисциплине без изменения программы.
4. Заключение
Для улучшения качества обучения студентов дисциплине «Пакеты прикладных программ» были проанализированы данные тестирования студентов трудности освоения дисциплины по базе данных тестирования студентов в системе Moodle.
При анализе тестовых ответов было обнаружено, что основные трудности студентов при освоении дисциплины связаны со слабым запоминанием понятий первой части программы обучения, что отразилось на освоении второй и третьей частей. Из консультаций с ресурсами ИИ мы выбрали способ частичного устранения трудностей, связанных с запоминанием понятий и их определений: циклическое повторение. В процессе обучения стал использоваться приём квазициклического повторения определений понятий, до полного их воспроизведения большинством студентов.
На примере было показано, что анализ показателей, предоставляемыми электронными системами, в частности системой Moodle, с использованием ресурсов ИИ в качестве консультанта могут быть использованы для коррекции учебных программ и/или процесса освоения учебных дисциплин с целью улучшения качества обучения студентов.