ON OVERCOMING OBSTACLES WHEN INTRODUCING MIXED-TYPE TASKS INTO TEACHING PRACTICE
ON OVERCOMING OBSTACLES WHEN INTRODUCING MIXED-TYPE TASKS INTO TEACHING PRACTICE
Abstract
The article analyses the obstacles to the implementation of mixed-type assignments in higher education teaching practice. Three key problems have been identified: the lack of support for such assignments in modern learning management systems (LMS), the ineffectiveness of protection against guessing when using standard instructions, and the overwhelming workload placed on lecturers when checking arguments manually. A multi-level strategy is suggested as a solution: adapting LMS functionality, developing customised instructions that require the demonstration of cause-and-effect relationships, and automating the checking of justifications through the integration of large language models (LLMs) via an API. A Python-based software function capable of analysing the formal correspondence of textual justifications with correct answers has been presented and tested, paving the way for the widespread use of combined tasks without increasing the workload on teaching staff.
1. Введение
Подготовленные директором ФГБУ «Росаккредагентство» Н.В. Алтыниковой методические рекомендации «Оценочные материалы как компонент образовательной программы высшего образования»
(далее — Методические рекомендации) стали основой для разработки комплектов оценочных материалов многих образовательных организаций.Методические рекомендации не лишены некоторых недостатков. Например, некорректно сформулировано одно из требований к разработке «задания комбинированного типа с выбором одного или нескольких верных ответов из четырех предложенных» — «Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, 4–5» . Если к 4–5 дистракторам добавить один или несколько правильных вариантов ответа, то общее количество предложенных в задании вариантов ответа всегда окажется больше «четырех предложенных».
Однако Методические рекомендации представляют собой систематизированное и практико-ориентированное издание, которое сочетает теоретическую обоснованность с готовыми практическими решениями, что делает её ценным ресурсом для образовательных организаций и экспертного сообщества. Методические рекомендации разработаны с учётом современных требований российского законодательства в сфере высшего образования (федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации», ФГОС ВО, аккредитационные требования). Издание содержит развёрнутые определения ключевых терминов, подробное описание структуры комплекта оценочных материалов, конкретные алгоритмы разработки и примеры, что позволяет использовать его как пошаговое руководство. Учтены требования аккредитационных показателей по образовательным программам высшего образования, что делает Методические рекомендации полезными для подготовки к государственной аккредитации и контрольно-надзорным мероприятиям.
Одна из новаций Методических рекомендаций представляется особенно важной: предлагается полностью отказаться от заданий с выбором одного или нескольких правильных ответов.
Пример такого задания:
Какие из перечисленных устройств хранения данных используют для записи информации магнитный принцип?
1. CD-RW диск.
2. Жесткий диск (HDD).
3. Ленточный накопитель (стример).
4. Твердотельный накопитель (SSD).
Именно задания на выбор вариантов ответов в настоящее время наиболее востребованы в педагогической практике (наряду с заданиями на упорядочение элементов) . Задания с выбором одного правильного ответа больше других распространены в тестовой практике благодаря сравнительной простоте и удобству для компьютерного тестирования . Такие задания понятны тестируемым и экономят время.
Новая форма задания — задание комбинированного типа, на первый взгляд, мало отличается от традиционной. Традиционная форма задания с выбором одного или нескольких правильных ответов дополняется объяснением выбора ответа , например (рис. 1):
Пример задания комбинированного типа
Если традиционное задание фиксирует лишь факт знания/незнания («знает, что HDD магнитный»), то комбинированное задание позволяет заглянуть в ход мыслей обучающегося. Неверный ответ с логичным, но ошибочным обоснованием (например, студент выбрал CD-RW, аргументируя это наличием металлического слоя) дает гораздо больше информации, чем простое информирование об ошибке.
Требование обоснования выбора ответа кардинально снижает вероятность успешного угадывания. Чтобы получить балл, недостаточно просто знать или угадать ответ; необходимо продемонстрировать понимание причинно-следственных связей. Это превращает задание из теста на удачу в инструмент проверки реального понимания.
Незначительное, казалось бы, изменение формы задания меняет очень многое. Если при формировании комплекта оценочных материалов изменение может показаться косметическим, то при апробации заданий комбинированного типа педагог сталкивается с рядом проблем:
1. Отсутствие поддержки заданий комбинированного типа системами управления обучением.
2. Неэффективность защиты от угадывания.
3. Необходимость экспертной проверки ответов.
Исследование посвящено поиску стратегий и методов преодоления вышеупомянутых барьеров.
2. Методы и принципы исследования
В основу исследования положены следующие методы и принципы:
1. Аналитико-критический метод для выявления внутренних противоречий и методических недостатков в официальных рекомендациях, а также для анализа функциональных возможностей популярных LMS.
2. Эмпирический метод для апробации комплектов заданий комбинированного типа.
3. Метод моделирования и проектирования для разработки функции автоматической проверки ответа на задание комбинированного типа.
4. Сравнительно-сопоставительный метод для сопоставления экспертных оценок аргументации и результатов автоматической проверки с помощью LLM.
3. Основные результаты
Методические рекомендации предусматривают возможность использования комплектов оценочных материалов, включающих задания комбинированного типа, для всех видов контроля в рамках реализации образовательной программы (включая промежуточную и итоговую аттестацию), а также для внутренней оценки качества образования и в ходе государственной аккредитации в сфере образования .
Для этого требуется соответствующий инструментарий.
Проведен анализ возможности реализации заданий комбинированного типа средствами популярных систем управления обучением, в результате которого поддержка таких заданий не обнаружена.
Так, система управления обучением iSpring Learn может оценивать задания следующих типов
:– верно/неверно;
– одиночный выбор;
– множественный выбор;
– ввод строки;
– соответствие;
– порядок;
– ввод числа (можно указывать как отдельные числовые значения, так и числовые интервалы и промежутки. Например, больше или равно 5);
– пропуски (нужно заполнить пропуски в тексте задания);
– вложенные ответы (выбрать правильный вариант из выпадающего списка);
– банк слов (поместить слова из банка слов в пропуски в тексте).
В заданиях на одиночный и множественный выбор iSpring Learn не имеет функции ввода и сохранения текста аргументации выбора ответа.
Система управления обучением Moodle работает с заданиями множественного выбора, в которых допустимо указание одного или нескольких вариантов правильного ответа без возможности объяснения выбора .
Российская платформа поддержки онлайн-курсов GetCourse поддерживает четыре типа заданий — одиночный и множественный выбор, верно/неверно и заполнение пропусков, не поддерживая объяснение выбора ответа
.В других системах систем управления обучением также не удалось найти функцию сохранения текстового объяснения в заданиях с выбором ответа, результатом чего стал вынужденный переход от компьютерной к бумажной (бланковой) технологии при проведении в октябре 2025 года в Восточно-Сибирском институте МВД России на кафедре информационных технологий внутренней оценки качества образования по дисциплине «Информационные технологии в профессиональной деятельности». При апробации использовались комплекты заданий комбинированного типа, а также на установление соответствия, последовательности и открытого типа с развернутым ответом. Комбинированные задания составили 80% всех материалов. В апробации приняли участие 83 курсанта бакалавриата (направление 40.03.02) и специалитета (специальности 40.05.01 и 40.05.03) .
Препятствие внедрению заданий комбинированного типа в виде отсутствия поддержки системами управления обучением существенно, но легко преодолимо, если разработчики этих систем согласятся доработать функционал тестирования. Подобная доработка представляется тривиальной задачей, которая может быть решена в сжатые сроки в случае поступления соответствующих заявок от образовательных организаций.
Следующий фактор, препятствующий эффективному применению заданий комбинированного типа — это методическое несовершенство инструкции к заданиям комбинированного типа. В Методических рекомендациях инструкция звучит так: «Прочитайте текст, выберите правильный ответ (ответы) и запишите аргументы, обосновывающие выбор ответа» . Эта формулировка одинакова для всех комбинированных заданий.
Инструкция предъявляет единственное формальное требование к объяснению выбора варианта ответа — его наличие, не уточняя, как именно должна быть построена аргументация.
При апробации около 50% объяснений выбора варианта ответа в заданиях комбинированного типа были формально правильными, но слишком краткими и общими, чтобы показать понимание причинно-следственных связей. Например, для приведенного выше задания по устройствам хранения данных получены ответы:
– «Потому что в этих устройствах используется магнитный принцип записи, в отличие от остальных вариантов»;
– «Нужно выбрать устройства с магнитным принципом. Под это описание подходят только жёсткий диск и ленточный накопитель»;
– «Верные ответы — Б и В, потому что они магнитные, а остальные варианты в списке — нет»;
– «В соответствии с принципом работы указанных устройств».
К сожалению, такие объяснения не гарантируют понимание, так как могут быть просто перефразированием текста задания. Поэтому за подобными объяснениями могут скрываться попытки угадывания. Следовательно, эффективность защиты от угадывания при таком подходе нельзя признать удовлетворительной. Например, любой ответ на вопрос о правилах дорожного движения (скажем, очередность проезда транспортных средств) можно обосновать «в соответствии с ПДД». Между тем, для создания высоконадежных компьютерных тестов для оценивания учебных достижений требуются задания с повышенной устойчивостью к угадыванию верных ответов .
Представим, как должно выглядеть правильное объяснение, демонстрирующее понимание причинно-следственных связей:
Ответ: Б (Жесткий диск), В (Ленточный накопитель).
Объяснение: Жесткий диск хранит информацию на магнитных пластинах, где данные записываются изменением намагниченности участков поверхности. Стример, аналогично магнитофону, использует магнитную ленту, информация кодируется последовательностью намагниченных областей. CD-RW диск работает на оптическом принципе (изменение отражающей способности), а SSD использует флеш-память, основанную на электрическом хранении заряда.
Чтобы исключить формальную корректность слишком кратких и общих объяснений, требуется доработать инструкцию, связав объяснение с принципом работы устройств и принадлежностью к магнитным носителям, например:
Прочитайте текст, выберите правильные ответы и запишите аргументы, обосновывающие выбор ответов. В аргументах необходимо:
1. Для каждого верного варианта объяснить, на каком физическом принципе основана запись информации, с указанием ключевых элементов устройства (например, магнитные пластины, лента и т.д.).
2. Для каждого неверного варианта указать, какой принцип записи фактически используется.
При таком изменении инструкции появляется основание считать неудовлетворительными слишком краткие и общие объяснения.
Таким образом, для преодоления неэффективности защиты от угадывания следует перейти от одинаковых для всех комбинированных заданий типовых инструкций к индивидуальным, требующим демонстрации понимания причинно-следственных связей.
Методические рекомендации предусматривают экспертную проверку заданий комбинированного типа . Такое приемлемо лишь для разовых проверочных мероприятий и совершенно не подходит для повседневной педагогической практики. Если во всех используемых в образовательной деятельности тестовых материалах заменить задания с выбором ответа заданиями комбинированного типа, то это создаст колоссальную дополнительную нагрузку на преподавателей, которым придется выступить в роли экспертов. Такое положение может привести к ускоренному профессиональному выгоранию педагогов
.На помощь может прийти искусственный интеллект, а конкретно — использование больших языковых моделей (LLM) через интерфейсы прикладного программирования (API)
. При таком подходе интерфейсы прикладного программирования служат связующим звеном для интеграции LLM в системы компьютерного тестирования. API могут отправлять текстовые данные к модели и получать обработанные результаты в виде ответа на запросы.Разработана функция на языке Python для автоматизации проверки комбинированного задания. Входящие данные Q — текст вопроса, A() — список правильных вариантов ответа (1–5 элементов), B — текстовое обоснование выбора правильных ответов. Функция подключается к ИИ через API и проверяет формальное соответствие текстового обоснования заданию и указанным вариантам правильного ответа. Результат работы: 0 — при отсутствии формального соответствия, 1 — при формальном соответствии, 2 — в случае неоднозначности.
Основной программный код:
1```python
2import json
3import logging
4from typing import List, Tuple
5import requests
6# Настройка логгирования
7logging.basicConfig(level=logging.INFO)
8logger = logging.getLogger(__name__)
9def check_formal_correspondence(
10 Q: str,
11 A: List[str],
12 B: str,
13 api_key: str,
14 model: str = "gpt-4",
15 api_base: str = "https://api.openai.com/v1",
16 temperature: float = 0.1,
17 max_tokens: int = 100
18) -> int:
19 """Проверяет формальное соответствие текстового обоснования правильным ответам.
Параметры:
1----------
2 Q : str
3 A : List[str]
4 B : str
5 api_key : str
6 API ключ для доступа к ИИ
7 model : str, optional
8 Модель ИИ (по умолчанию "gpt-4")
9 api_base : str, optional
10 Базовый URL API (по умолчанию OpenAI)
11 temperature : float, optional
12 Параметр температуры для генерации (по умолчанию 0.1)
13 max_tokens : int, optional
14 Максимальное количество токенов в ответе (по умолчанию 100)
15 Возвращает:
16 -----------
17 int
18 0 - отсутствие формального соответствия
19 1 - формальное соответствие
20 2 - неоднозначность
21 """
22 # Формируем промпт для ИИ
23 prompt = f"""Задача: Проверить формальное соответствие обоснования правильным ответам.
Вопрос: {Q}
Правильные ответы (один или несколько):
{chr(10).join([f'{i+1}. {answer}' for i, answer in enumerate(A)])}
Обоснование выбора: {B}
Требуется определить:
1. Есть ли прямое формальное соответствие между обоснованием и правильными ответами?
2. Является ли обоснование неоднозначным или двусмысленным?
Проанализируй обоснование по следующим критериям:
– Содержит ли оно прямые ссылки или логические связи с правильными ответами?
– Противоречит ли оно каким-либо правильным ответам?
Верни ответ в формате JSON:
{{
В тестовом режиме перепроверено 180 обоснований ответов на задания комбинированного типа, полученных при апробации. Расхождений с экспертными оценками не выявлено. Такой результат ожидаем при анализе учебных достижений и свидетельствует о реалистичности автоматизации проверки комбинированных заданий в массовой педагогической практике.
Функция может быть интегрирована в образовательные платформы для автоматической проверки обоснований ответов, в частности в авторскую систему автоматизации контроля знаний Assistent (свидетельство о государственной регистрации программы № 2008610441).
4. Заключение
Проведённое исследование позволяет сформулировать следующие выводы о путях преодоления барьеров на пути внедрения заданий комбинированного типа в педагогическую практику:
1. Технологическое препятствие, связанное с отсутствием поддержки в LMS, является формальным и легко устранимым. Оно требует не отказа от инновации, а адресных запросов от образовательного сообщества к разработчикам платформ на доработку функционала тестирования, что является технически тривиальной задачей.
2. Методическое препятствие — низкая эффективность защиты от угадывания — преодолевается путём отказа от универсальных шаблонных инструкций. Необходима разработка индивидуализированных инструкций, которые явно требуют от обучающегося раскрыть конкретные причинно-следственные связи, принципы работы или логические основания выбора.
3. Организационно-кадровое препятствие, заключающееся в росте экспертной нагрузки на преподавателей, может быть кардинально решено за счёт автоматизации проверки текстовой аргументации. Разработанная и апробированная функция на основе LLM демонстрирует высокую согласованность с экспертными оценками, подтверждая реалистичность такого подхода. Интеграция подобных инструментов в образовательные платформы позволит масштабировать применение комбинированных заданий без ущерба для качества контроля и рабочего времени педагогов.