IMPLEMENTATION OF A TESTING SOFTWARE SYSTEM FOR QUALITY CONTROL OF MASTERING MODULES OF THE ACADEMIC DISCIPLINE "INTRODUCTION TO MODERN INFORMATION AND INTELLECTUAL TECHNOLOGIES"
IMPLEMENTATION OF A TESTING SOFTWARE SYSTEM FOR QUALITY CONTROL OF MASTERING MODULES OF THE ACADEMIC DISCIPLINE "INTRODUCTION TO MODERN INFORMATION AND INTELLECTUAL TECHNOLOGIES"
Abstract
Nowadays, the development of testing software systems that test not only theoretical knowledge and computational skills, but also analyse and evaluate practical skills in a particular subject area is gaining relevance. The aim of the presented research is to describe the testing system implemented by the authors, which is currently used by the teachers of the Mordovian State University named after N. P. Ogarev to check and analyse the quality of students' performance of laboratory works in the discipline “Introduction to Modern Information and Intelligent Technologies”. This system allows to automate the calculation and scoring of points on the discipline control points, with their subsequent entry into the rating-plan and the student's personal account of the electronic information educational environment of the university. The materials of the working programmes of the above-mentioned discipline for students of medical specialities of the university were used as initial data in the design of the system, and modern software tools for creating cross-platform desktop applications using web technologies, programming languages and database management systems were used in the implementation. The article discusses in detail the examples of using the developed testing system for the module "Fundamentals of working in Microsoft Excel for processing and analysing medical information". In particular, it presents the model of the database underlying the generation of tasks for laboratory works of this module, as well as the basis of the testing part that checks the mastery of students' skills in Microsoft Excel. In addition, the algorithms of analysing excel-files of students, implemented in the testing part, as well as specific examples of the testing system on one of the variants of laboratory works are presented. Approbation of the testing system was conducted at Mordovian University in 2023-2024 academic year and showed high efficiency of the proposed technology for evaluating the knowledge and skills of 1st year students.
1. Введение
Неотъемлемой частью процесса обучения в вузе является текущий и итоговый контроль полученных знаний, причем роль текущего контроля в определенной мере важнее, так как позволяет своевременно выявить как пробелы в знаниях студента, так и качество методической работы преподавателя. Контроль может проводиться в разных формах, в том числе в форме компьютерного тестирования.
На эффективность компьютерного контроля влияют следующие факторы:
1) многообразие созданных контролирующих материалов и способов их использования;
2) степень согласованности созданной системы к специфике изучаемой дисциплины и направлениям подготовки студентов;
3) возможность системы адекватно распознавать ответы или действия обучающегося при выполнении тестовых заданий.
Преимущества компьютерного тестирования: массовость и регламентированность по времени, что особо значимо при большом количестве обучаемых, объективность оценки знаний и умений тестируемых, возможность автоматизированной статистической обработки полученной информации с целью формирования итоговых отчетов успеваемости.
Обзор литературы
В настоящее время существуют различные тестирующие системы и информационные сервисы
, предназначенные в основном для проверки теоретических знаний и уровня освоения профессиональных компетенций. При этом, как правило, используются следующие виды тестов – одиночный выбор, множественный выбор, указание порядка, сопоставление, ручной ввод и другие.Создание тестирующих систем для проверки практических навыков обучаемых является трудоемкой работой, как для разработчиков таких программных продуктов, так и для педагогов данного направления.
При разработке тестирующих систем может быть использован метод нисходящего проектирования, в частности в
на основе этого метода предложена схема создания тестовых заданий, с помощью которой максимально объективно можно провести оценку уровня соответствия личностной модели знаний ученика и экспертной целевой модели знаний.Реализация подобных тестирующих систем происходит на основе традиционных технологий с применением языка высокого уровня, в частности, С++
, Python , .При апробации тестирующих систем в реальных условиях возникает проблема объективности оценки знаний студентов, рассчитанной данной системой. Например, в
предлагается решать эту проблему на основе теории оценивания, предполагающей определение характеристик, влияющих на количество ошибок первого и второго рода при оценке знаний студентов и на основе этих характеристик строит математическую модель оценки.Более сложной для реализации является задача разработки тестирующих систем для проверки практических умений и навыков обучаемых в конкретной предметной области.
В представленной статье рассматривается разработанная авторами тестирующая система, предназначенная для автоматизированной проверки знаний и навыков студентов медицинского института МГУ им. Н. П. Огарева по модулю «Основы работы в Microsoft Excel», входящего в состав дисциплины «Введение в современные информационные и интеллектуальные технологии» для студентов медицинских специальностей вузов.
Существующие тестирующие системы, предназначенные для оценки эффективности освоения обучаемыми электронной таблицы Microsoft Excel, преимущественно осуществляют проверку овладения основными возможностями работы и навыков решения в ней простейших вычислительных задач.
Так, в
была предложена тестирующая система, основанная на использовании макросов Microsoft Excel, языка программирования VBA и пакета RibbonXMLEditor. При этом проверялись умения составления формул Excel, форматирования ячеек Excel, построения диаграмм и установки их параметров. Особое внимание авторы уделяют тестированию навыков решения вычислительных задач с помощью формул. Проверка правильности написания формул осуществляется с помощью двухэтапной процедуры: на первом этапе сравниваются результаты вычислений студента с эталонными значениями, затем происходит генерация новых исходных данных случайным образом и вновь осуществляется проверка результатов, аналогичная первому этапу. Двойная проверка необходима для того, чтобы, во-первых, студент не мог ввести ответ вручную без использования формул, во-вторых, для проверки синтаксиса используемых в формуле выражений и функций.На наш взгляд, более перспективным направлением представляется разработка тестирующих систем с применением современных технологий создания программного обеспечения и баз данных, которые позволяют:
1) автоматизировать рутинную работу преподавателя, связанную с проверкой лабораторных работ студентов, представленных в виде excel-файлов;
2) минимизировать количество ошибок при проверке, обусловленных человеческим фактором;
3) связать тестирующую систему с рейтинг-планом дисциплины для автоматического расчета баллов в контрольных точках с учетом понижающего коэффициента, применяемого в случае несвоевременной сдачи работы;
4) осуществлять экспорт получаемых результатов в сторонние программные системы, например, электронно-информационные образовательные среды, функционирующие в вузах.
Цель данного исследования состоит в описании алгоритмов работы созданной авторами тестирующей системы, удовлетворяющей вышеперечисленным свойствам, применительно к лабораторному практикуму по дисциплине «Введение в современные информационные и интеллектуальные технологии», её реализации в виде веб-приложения, оценке преимуществ данной разработки.
2. Материалы и методы исследования
Исходными материалами для данного исследования послужили рабочие программы дисциплины «Введение в современные информационные и интеллектуальные технологии», составленные преподавателями Мордовского государственного университета для специальностей «Лечебное дело», «Стоматология», «Педиатрия», «Фармация», в частности рейтинг-планы дисциплины, описание лабораторных работ и варианты заданий к ним.
При реализации рассматриваемой тестирующей системы были использованы следующие программные средства:
1) для создания интерфейса пользователя тестирующей системы – язык гипертекстовой разметки документов HTML, каскадные таблицы стилей CSS, язык программирования JavaScript;
2) в качестве фреймворка – редактор кода Visual Studio Code на основе языка программирования PНР (сравнительный анализ программного обеспечения для создания веб-сайтов приведен в [8]), в том числе с использованием библиотеки PHPExcel, предназначенной для создания и чтения данных из файлов формата OpenXML (примеры применения данной библиотеки рассмотрены в [9]);
3) для хранения информации, генерируемой в процессе тестирования и анализа получаемых результатов, – система управления базой данных MySQL.
3. Основные результаты
Результатом исследования является разработанная авторами тестирующая система, предназначенная для контроля качества освоения модуля «Основы работы в Microsoft Excel» учебной дисциплины «Введение в современные информационные и интеллектуальные технологии».
Информация, необходимая для работы указанной системы, структурирована в виде таблиц базы данных, которые условно можно разбить на три модуля:
1) модуль генерации исходных данных варианта, на основе которого выполняются все задания лабораторных работ;
2) модуль генерации заданий для выполнения лабораторных работ;
3) модуль тестирования для проверки правильности выполнения лабораторных работ.
Модель базы данных представлена на рисунке 1.
Рисунок 1 - Модель базы данных
При разработке модуля тестирования использовались рейтинг-планы вышеуказанной дисциплины, в которой приведены формулировки лабораторных работ, относящихся к контрольной точке «Основы работы в Microsoft Excel», и критерии их оценивания.
Рассмотрим примеры работы тестирующей системы. При авторизации студента на сайте тестирующей системы в его личном кабинете появляется список доступных тестирований с указанием темы и срока прохождения. Можно ознакомиться с результатами выполненных тестов или пройти новое тестирование (см. рисунок 2).
Рисунок 2 - Главная страница личного кабинета студента
Рисунок 3 - Пример шаблона excel-файла для выполнения лабораторной работы «Работа с формулами и функциями»
Рисунок 4 - Пример выполнения лабораторной работы «Работа с формулами и функциями» студентом
Из рисунка 4 следует, что студент при выполнении заданий 6 и 11 ввел в ответе только подходящее число, но не написал расчетную формулу, а задание 12 не выполнил.
По окончании выполнения лабораторной работы студент загружает сформированный excel-файл на сайт тестирующей системы:
Рисунок 5 - Загрузка выполненной лабораторной работы для проверки
Рисунок 6 - Результаты проверки
При реализации проверки выполнения данной лабораторной работы был применен алгоритм, представленный на рисунке 7.
Рисунок 7 - Алгоритм работы модуля тестирования при проверке лабораторной работы «Работа с формулами и функциями»
Рассмотрим отдельные запросы к базе данных, необходимые для получения правильных ответов на задания. Проиллюстрируем последовательность построения запросов на примере задания 1 – «Вычислить среднее число дней, проведенных больными в стационаре» (см. рисунок 3):
1. Создать временную таблицу subset_data, в которую помещаются значения столбца, указанного в задании 1 (в данном случае – столбец «Проведено дней»):
CREATE TEMPORARY TABLE subset_data AS
SELECT column_value.value FROM column_value, function, option1, option_column
WHERE function.ID_option_column_1=column_value.ID_option_column
AND option1.ID_option=option_column.ID_option
AND column_value.ID_option_column=option_column.ID_option_column
AND option1.ID_option=1;
2. Выбрать функцию function_name_1 из таблицы function, необходимую для выполнения задания (в данном случае – это функция СРЗНАЧ()), результат будет храниться в переменной $function:
SELECT function.function_name_1 FROM function WHERE ID_option=1;
3. Получить тип данных выбранного столбца column_type из таблицы option_column (в данном случае – это тип INT), результат будет храниться в переменной $type:
SELECT option_column.column_type FROM function, option1, option_column
WHERE option1.ID_option=option_column.ID_option
AND function.ID_option_column_1=option_column.ID_option_column
AND option1.ID_option=1;
4. Выполнить задание, применив выбранную функцию к столбцу, полученному в результате выполнения запроса 1 и преобразованному к соответствующему типу данных:
SELECT ".$function."(n1) FROM (SELECT cast(subset_data.value AS ".$type.") AS n1 FROM subset_data) q
Аналогично выполняется и проверяется лабораторная работа по теме «Построение диаграмм». На рисунке 8 приведен шаблон excel-файла для выполнения данной работы, содержащий вспомогательные таблицы для расчета данных, которые необходимо визуализировать на диаграммах, а также образцы готовых диаграмм, которые нужно построить. Диаграммы должны содержать такие элементы как: заголовок диаграммы, легенда, подписи осей, подписи данных, и т.п.
На рисунке 9 представлен результат выполнения студентом данной лабораторной работы, из которого следует, что студент допустил следующие ошибки:
1) при расчете вспомогательной таблицы для круговой диаграммы не ввёл одну из необходимых формул, а также не отобразил подписи данных;
2) при построении гистограммы не добавил подписи горизонтальной оси;
3) при расчете вспомогательной таблицы для линейчатой диаграммы не ввел расчетные формулы, а также не отобразил подписи данных и легенду.
Рисунок 8 - Пример шаблона excel-файла для выполнения лабораторной работы «Построение диаграмм»
Рисунок 9 - Пример выполнения лабораторной работы «Построение диаграмм» студентом
Рисунок 10 - Результаты проверки лабораторной работы «Построение диаграмм»
При реализации проверки выполнения данной лабораторной работы был применен алгоритм, представленный на рисунке 11.
Рисунок 11 - Алгоритм работы модуля тестирования при проверке лабораторной работы «Построение диаграмм»
1) getCharts() – возвращает диаграммы с активного листа;
$excel = PHPExcel_IOFactory::load("Name_file");
$charts = $excel->getCharts();
2) getType() – возвращает тип диаграммы;
foreach ($charts as $chart)
$chartType = $chart->getType();
3) getTitle() – возвращает заголовок диаграммы;
$chart = $excel->getChartByName('Chart 1');
$title = $chart->getTitle();
4) getSeries() – возвращает данные о сериях диаграммы (getData() – значение серии, getLabels() – метка серии);
$series = $chart->getSeries();
foreach ($series as $s)
{
$data = $s->getData();
$labels = $s->getLabels();
}
4) getLegend() – возвращает легенду;
$legend = $chart->getLegend();
5) getXAxis()/getYAxis() – возвращает ось OX/OY, getTitle() – заголовок оси, getText() – название заголовка оси.
$xAxis = $chart->getXAxis();
$xAxisLabel = $xAxis->getTitle()->getText();
Последней лабораторной работой модуля «Основы работы в Microsoft Excel» является «Сортировка и фильтрация данных», реализация проверки которой выполняется аналогично представленным выше алгоритмам.
4. Заключение
Основной целью предлагаемой тестирующей системы является не только проверка теоретических знаний студентов с помощью проведения компьютерного тестирования, но и анализ excel-файлов, получаемых студентами в ходе выполнения лабораторных работ. Цель такого анализа состоит как в определении оценки соответствия результатов выполнения заданий правильным ответам, так и проверки алгоритма получения этих результатов (например, проверяется синтаксис введенной студентом формулы или создание вспомогательной таблицы для построения диаграмм).
Преимуществами разработанной тестирующей системы являются:
1) возможность удаленного доступа к данным, обеспечивающего применение данной системы в дистанционном режиме;
2) скорость обработки большого объема данных, обусловленного контингентом обучаемых;
3) кроссплатформенность, обеспечивающая способность данной системы работать с различными аппаратными платформами или операционными системами, обусловленная применением языков web-программирования.
4) автоматизированная обработка и анализ excel-файлов с результатами выполнения лабораторных работ.
Апробация представленной в статье тестирующей системы была проведена при изучении дисциплины «Введение в современные информационные и интеллектуальные технологии» студентами медицинского института Мордовского государственного университета им. Н. П. Огарева в 2023-2024 учебном году и показала высокую эффективность предложенной технологии оценки знаний и навыков студентов. В ходе апробации системы было проанализировано 218 excel-файлов лабораторных работ студентов специальностей «Лечебное дело», «Стоматология», «Педиатрия», «Фармация». Одна и та же работа оценивалась дважды – преподавателем с помощью традиционной визуальной проверки и тестирующей системой. Расхождение в оценках составило приблизительно 2%, что находится в пределах статистической погрешности и обусловлено тем, что:
1) отдельные задания могут быть выполнены разными способами;
2) при работе с вариантом не исключена ситуация, когда исходные данные, на основе которых производятся расчеты, могут быть случайно изменены студентом.