Анализ показателей цифровых данных с привлечением технологий искусственного интеллекта для корректировки программ и/или процесса обучения
Анализ показателей цифровых данных с привлечением технологий искусственного интеллекта для корректировки программ и/или процесса обучения
Аннотация
Цифровые технологии, в том числе искусственный интеллект, всё чаще применяются в образовании с целью улучшения качества освоения студентами учебного материала. Трудности в освоении учебных дисциплин обусловлены многими причинами, но среди них есть причины, которые может минимизировать в рамках методической деятельности преподаватель — автор учебной программы. К таким причинам относятся методические несовершенства разрабатываемых преподавателями учебных программ, которые зачастую нуждаются в систематической актуализации. Регулирование процесса обучения также может осуществлять преподаватель, который задействует комплексный инструментарий, сочетающий методы традиционной педагогики и цифрового инструментария, дополненного рекомендациями моделей искусственного интеллекта.
Настоящая статья посвящена выявлению трудностей освоения учебных дисциплин с целью коррекции рабочих программ и регулирования процесса обучения. Трудности выявлялись с помощью показателя «индекс лёгкости» прикладной программы в системе Moodle в ходе выполнения студентами тестовых заданий.
Работа выполнена на примере дисциплины информационного цикла «Пакеты прикладных программ». Необходимость корректирования программы дисциплины и регулирования процесса обучения выявлена в ходе анализа тестовых заданий студентами второго курса очно-заочной и заочной форм обучения кафедры экономики отраслей и рынков Челябинского государственного университета и в ходе опроса преподавателей, использующих приложения системы Moodle. Определение трудностей освоения учебного материала проведено по индексу лёгкости по разделам программы обучения дисциплины «Пакеты прикладных программ»: «Классификация программного обеспечения. Основные виды пакетов прикладных программ». Для анализа трудностей изучаемого материала и формирования корректирующих методических рекомендаций для их преодоления были задействованы технологии искусственного интеллекта.
1. Введение
Качество обучения студентов зависит от многих факторов, среди которых важное место занимают технологии и методы обучения, профессиональное мастерство преподавателя, его знаний технологий, его способность гибко изменять методы и формы обучения в зависимости от особенностей контингента студентов. Преподавателям предоставляется возможность планирования и изучения процесса формирования знаний у обучающихся. Преподаватели составляют рабочие программы практически без их апробации в силу недостатка времени, а с помощью электронных технологий (например, системы прикладных программ Moodle) наблюдают результаты освоения учебного материала, что тоже экономит время. Несмотря на наличие специализированных программ повышения квалификации подготовки преподавателей к работе в среде Moodle, они зачастую носят преимущественно ознакомительный характер, что позволяет преподавателям получить теоретические представления о цифровых инструментах, но не обеспечивает формирования прикладных навыков их эксплуатации. В этой связи по нашим наблюдениям преподаватели недостаточно используют возможности этих технологий для корректировки рабочих программ и процесса обучения.
Беседуя с преподавателями, мы обнаружили что в основном, функционал тестирования в приложении программ Moodle используется для выставления зачётов студентам, т.е. тесты используются как инструмент аттестации, фиксирующий конечный результат освоения дисциплины. Преподаватели фактически не пользуются показателями, предоставляемыми электронными системами, для изучения процесса формирования знаний и качества рабочих программ с целью их корректировки в зависимости от особенностей обучающихся. В частности, не пользуются таким показателем как «индекс лёгкости».
Целью настоящей статьи является описание опыта использования возможностей цифрового инструментария, включая возможности генеративного искусственного интеллекта, для корректирования и регулирования процесса обучения студентов, то есть на практике показать, как можно интегрировать современные цифровые решения, в том числе нейросетевые технологии в рамках реализации конкретных образовательных задач. В основу исследования была положена гипотеза о том, что, что анализ накопленных цифровых данных поможет проводить коррекцию рабочих программ и/или процесса освоения учебных дисциплин для улучшения качества обучения студентов.
Система Moodle предоставляет возможность для выявления трудностей освоения учебного материала путём анализа показателя «индекс лёгкости». По этому показателю можно судить о трудности освоения учебного материала. Наиболее усвоенному учебному материалу соответствует индекс лёгкости, приближающийся к 100%, трудному материалу соответствует индекс лёгкости, приближающийся к 0%. Причины появления трудностей можно установить с помощью методов традиционной педагогики. Характер трудностей и различные рекомендации по их преодолению описаны как в отечественных исследованиях, так и в открытых информационных ресурсах , , , . Для выбора эффективных мер преодоления трудностей существует возможность обращения за консультацией к системам искусственного интеллекта.
В работе использовались созданные нами компьютерные тесты в модульной объектно-ориентированной динамической обучающей среде Moodle. Эта система автоматически обрабатывает результаты теста и предоставляет преподавателю развернутую статистику по выполнению отдельных заданий , , , .
Исследование реализовано на базе дисциплины «Пакеты прикладных программ», изучение которой для студентов экономических направлений обусловлено необходимостью формирования цифровых компетенций, в частности, в области анализа данных и инструментальной грамотности на современном рынке труда , .
Отметим, что в беседе со студентами очной формы обучения нами была выявлена одна из трудностей при освоении дисциплины «Пакеты прикладных программ» — это «изучение различных программ на персональном компьютере» . Необходимые знания и умения студенты приобретают в ходе изучения различных видов прикладного программного обеспечения, а также при рассмотрении стандартного офисного пакета , .
2. Методика проведения исследования
Работа проводилась последовательно в несколько этапов.
1) Составление тестовых заданий. Были использованы задания типа «множественный выбор», в которых студентам предлагалось выбрать один или два правильных ответа из четырех предложенных.
2) Тестирование студентов и первичный анализ результатов. Качество тестовых заданий оценивалось по показателям индекс дискриминации и стандартное отклонение. Вопросы с этими показателями менее 30% были исключены из рассмотрения в нашей работе.
3) Анализ трудности освоения учебного материала проводился по показателю «Индекс лёгкости», который характеризует успешность выполнения задания. Чем ближе индекс легкости к 100%, тем легче задание . Если показатель лёгкости 100%, то задание очень простое (с ним справились все студенты), если же индекс лёгкости равен 0%, то задание чрезмерно трудное. Трудность каждого задания была определена по размытой порядковой шкале оценок: трудные (индекс лёгкости от 1 до 33%), средней степени трудности (индекс лёгкости от 34 до 67%) и лёгкие (индекс лёгкости от 68 до 100%).
4) Кластерный анализ. Трудные тестовые задания были разделены в соответствии с их принадлежностью разделам учебной программы обучения путём сопоставления с содержанием программы и компетенций по ФГОС, с содержанием лекционного материала;
5) Выявление причин возможных причин возникновения трудностей освоения учебного материала. Разделение трудных тестовых вопросов на теоретические и практические.
6) Применение искусственного интеллекта для генерации предложений по актуализации содержания рабочей программы по дисциплине и методических рекомендаций по регулированию учебного процесса с целью повышения качества освоения образовательных результатов.
3. Анализ результатов исследования
Анализ трудностей освоения учебного материала дисциплины «Пакеты прикладных программ» проводился на основе базы данных тестирования в системе Moodle более 350 студентов второго курса очно-заочной и заочной формы обучения кафедры «Экономики отраслей и рынков» Челябинского государственного университета по таким направлениям подготовки бакалавров и специалистов экономического профиля: экономика, менеджмент, управление качеством и таможенное дело.
При настройке тестовых заданий с несколькими правильными ответами учитывалось требование давать отрицательные баллы за неправильные ответы, чтобы исключить возможность получения высшего балла при выборе тестируемыми всех ответов . В случае, если тестируемый выбирал только неправильные ответы, то за вопрос получал отрицательный балл. Количество возможных ответов на вопросы теста обеспечивала вероятность угадывания правильного ответа не более 0,25.
Вопросы теста относились к трем разделам дисциплины «Пакеты прикладных программ».
1. Классификация программного обеспечения. Основные виды пакетов прикладных программ.
2. Интегрированные пакеты прикладных программ офисного назначения.
3. Проблемно-ориентированные пакеты прикладных программ в таможенном деле, в экономике, в менеджменте, в управлении качеством (в соответствии с профилем обучения).
Всего было составлено 169 тестовых заданий по дисциплине обучения. По данным предварительного тестирования проведено исследования качества тестовых заданий по критериям, указанным в работе . 6 тестовых заданий не удовлетворили установленным критериям качества, таким как индекс дискриминации и стандартное отклонение: эти показатели были менее 30%. Эти задания были исключены из рассмотрения. Анализу по показателю индекс лёгкости были подвергнуты 163 тестовых вопроса.
К трудным были отнесены задания с индексом лёгкости менее 33%, к лёгким – задания с индексом лёгкости не менее 70%.
Распределение по трудности тестовых заданий по дисциплине «Пакеты прикладных программ» оказалось следующим: 37 заданий оказались трудными (индекс лёгкости от 1 до 33%), 84 задания средней степени трудности и 52 задания были лёгкими.
Рисунок 1 - График распределения по трудности тестовых заданий
Распределение оказалось близким к нормальному (рис. 1). Следовательно, статистические показатели можно было использовать для проведения анализа базы данных системы Moodle.
Далее в соответствии с целью настоящей работы проводился анализ только трудных заданий. Всего таких заданий оказалось 36.
Сначала был проведён кластерный анализ, состоящий в соотнесении трудных тестовых заданий с разделами учебной программы дисциплины «Пакеты прикладных программ». Оказалось, что наибольшее число трудных вопросов (33, т.е. 92% от числа всех трудных заданий) относятся к первому разделу учебной программы дисциплины, 3 трудных задания относятся ко второму разделу и 1 к третьему.
В первом разделе дисциплины сосредоточен теоретический материал: понятия, классификация и виды прикладных программ. Второй и третий разделы — это практический материал, направленный на изучение управления в пакетах прикладных программ и применение программ.
С целью выявления причин возникновения трудностей освоения учебного материала далее проводился анализ путём сопоставления каждого трудного задания с содержанием компетенций ОПК-5 по ФГОС, а также с лекционным материалом. Наиболее трудными оказались теоретические вопросы, относящиеся к первому разделу учебной программы. Этот раздел дисциплины предполагает:
1) наличие базовых школьных знаний о программном обеспечении ЭВМ;
2) освоение знаний о наборе средств для взаимодействия двух систем;
3) теоретическое освоение различных программ, которые связаны с определениями понятиями, с усвоением понятий, то есть это те знания, которые являются фундаментом для освоения последующих разделов программы обучения.
К обсуждению результатов и выработке рекомендаций по улучшению освоения студентами учебного материала в качестве консультанта были привлечены ресурсы искусственного интеллекта (ИИ). В качестве основных инструментов использовались модели GPT-4o, российская большая языковая модель GigaChat Pro и YandexGPT 3 (версия Pro).
Процедура исследования включала подачу структурированного запроса, содержащего:
1) описание контекста (учебная дисциплина, целевая аудитория);
2) массив данных о результатах тестирования;
3) задачу на выявление причинно-следственных связей.
Был использован детализированный промпт: «проанализировали ответы студентов по проверке качества освоения учебной дисциплины. Большинство неверных ответов было по определениям понятий по первой части программы обучения. Какой может быть причина не усвоения понятий?»
В ответ на запрос системами были сформированы отчеты, отражающие основные возможные причины не усвоения понятий: недостаточная объяснительная база, высокая плотность информации, слабая мотивация на старте, неэффективные методы проверки понимания, когнитивные перегрузки, проблемы с запоминанием.
Был сделан вывод о теоретической перегруженности первого раздела программы и слабой его связью со вторым и третьим разделами программы обучения. Наблюдение за студентами показало, что у студентов недостаточно полно сохраняется информация первой части программы обучения для последующего воспроизведения при изучении второй и третьей части программы (проблемы с запоминанием, с усвоением). Для улучшения качества обучения дисциплине требовалось либо внести изменения в программу обучения, либо в процесс обучения.
Для выбора пути коррекции моделям ИИ был задан второй вопрос: «В учебной программе первая часть посвящена определениям понятий, которые встречаются во второй части, в которой изучаются инструменты. Третья часть посвящена изучению использования инструментов. После изучения дисциплины по этой программе было проведено тестирование, которое показало, что основные трудности освоения дисциплины связаны со слабым запоминанием понятий первой части, что отразилось на вторую и третью части. Как скорректировать программу обучения с целью лучшего освоения учебной дисциплины?»
Ответ ИИ: «Основная проблема – отрыв теории от практики, поэтому ключевое решение — не давать определения изолированно, а постоянно связывать их с последующим материалом через повторение, практику и интерактивные методы. Лучший подход — комбинация циклического повторения, активного обучения и встроенного контроля».
Нами был сделан вывод: качество освоения учебного материала может быть улучшено за счёт коррекции процесса обучения, без изменения программы обучения. Учитывая рекомендации ИИ, мы применили подход «циклическое повторение». Точнее квазициклическое повторение. Трудные понятия повторяли во второй и третьей части обучения дисциплины до практически полного воспроизведения этих понятий большинством студентов. Используя статистические возможности LMS Moodle, мы сравнили средний балл в выходном тестировании студентов текущего года обучения с прошлым курсом. Он стал на 0,6% выше.
Таким образом был скорректирован (отрегулирован) процесс обучения студентов дисциплине без изменения программы.
4. Заключение
Для улучшения качества обучения студентов дисциплине «Пакеты прикладных программ» были проанализированы данные тестирования студентов трудности освоения дисциплины по базе данных тестирования студентов в системе Moodle.
При анализе тестовых ответов было обнаружено, что основные трудности студентов при освоении дисциплины связаны со слабым запоминанием понятий первой части программы обучения, что отразилось на освоении второй и третьей частей. Из консультаций с ресурсами ИИ мы выбрали способ частичного устранения трудностей, связанных с запоминанием понятий и их определений: циклическое повторение. В процессе обучения стал использоваться приём квазициклического повторения определений понятий, до полного их воспроизведения большинством студентов.
На примере было показано, что анализ показателей, предоставляемыми электронными системами, в частности системой Moodle, с использованием ресурсов ИИ в качестве консультанта могут быть использованы для коррекции учебных программ и/или процесса освоения учебных дисциплин с целью улучшения качества обучения студентов.