1. Введение
Подготовленные директором ФГБУ «Росаккредагентство» Н.В. Алтыниковой методические рекомендации «Оценочные материалы как компонент образовательной программы высшего образования»
[1]
Методические рекомендации не лишены некоторых недостатков. Например, некорректно сформулировано одно из требований к разработке «задания комбинированного типа с выбором одного или нескольких верных ответов из четырех предложенных» — «Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, 4–5»
[1, C. 35]. Если к то общее количество предложенных в задании вариантов ответа всегда окажется больше «
Однако Методические рекомендации представляют собой систематизированное и практико-ориентированное издание, которое сочетает теоретическую обоснованность с готовыми практическими решениями, что делает её ценным ресурсом для образовательных организаций и экспертного сообщества. Методические рекомендации разработаны с учётом современных требований российского законодательства в сфере высшего образования (федеральный закон от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации», ФГОС ВО, аккредитационные требования). Издание содержит развёрнутые определения ключевых терминов, подробное описание структуры комплекта оценочных материалов, конкретные алгоритмы разработки и примеры, что позволяет использовать его как пошаговое руководство. Учтены требования аккредитационных показателей по образовательным программам высшего образования, что делает Методические рекомендации полезными для подготовки к государственной аккредитации и контрольно-надзорным мероприятиям.
Одна из новаций Методических рекомендаций представляется особенно важной: предлагается полностью отказаться от заданий с выбором одного или нескольких правильных ответов.
Пример такого задания:
Какие из перечисленных устройств хранения данных используют для записи информации магнитный принцип?
1. CD-RW диск.
2. Жесткий диск (HDD).
3. Ленточный накопитель (стример).
4. Твердотельный накопитель (SSD).
Именно задания на выбор вариантов ответов в настоящее время наиболее востребованы в педагогической практике (наряду с заданиями на упорядочение элементов)
[2, C. 25]. [3, C. 12].
Новая форма задания — задание комбинированного типа, на первый взгляд, мало отличается от традиционной. Традиционная форма задания с выбором одного или нескольких правильных ответов дополняется объяснением выбора ответа
[1, C. 28], например (рис. 1):
Пример задания комбинированного типа
На взгляд автора, главное достоинство комбинированных заданий заключается в качественном скачке от тестирования памяти к комплексной диагностике понимания, мышления и способности к аргументации.
Если традиционное задание фиксирует лишь факт знания/незнания («знает, что HDD магнитный»), то комбинированное задание позволяет заглянуть в ход мыслей обучающегося. Неверный ответ с логичным, но ошибочным обоснованием (например, студент выбрал CD-RW, аргументируя это наличием металлического слоя) дает гораздо больше информации, чем простое информирование об ошибке.
Требование обоснования выбора ответа кардинально снижает вероятность успешного угадывания. Чтобы получить балл, недостаточно просто знать или угадать ответ; необходимо продемонстрировать понимание причинно-следственных связей. Это превращает задание из теста на удачу в инструмент проверки реального понимания.
Незначительное
, казалось бы
1. Отсутствие поддержки заданий комбинированного типа системами управления обучением.
2. Неэффективность защиты от угадывания.
3. Необходимость экспертной проверки ответов.
Исследование посвящено поиску стратегий и методов преодоления вышеупомянутых барьеров.
2. Методы и принципы исследования
В основу исследования положены следующие методы и принципы:
1. Аналитико-критический метод для выявления внутренних противоречий и методических недостатков в официальных рекомендациях, а также для анализа функциональных возможностей популярных LMS.
2. Эмпирический метод для апробации комплектов заданий комбинированного типа.
3. Метод моделирования и проектирования для разработки функции автоматической проверки ответа на задание комбинированного типа.
4. Сравнительно-сопоставительный метод для сопоставления экспертных оценок аргументации и результатов автоматической проверки с помощью LLM.
3. Основные результаты
Методические рекомендации предусматривают возможность использования к
омплектов оценочных материалов, включающих задания комбинированного типа, для всех видов контроля в рамках реализации образовательной программы (включая промежуточную и итоговую аттестацию), а также для внутренней оценки качества образования и в ходе государственной аккредитации в сфере образования [1, C. 11-12].
Для этого требуется соответствующий инструментарий.
Проведен анализ возможности реализации средствами популярных
Так, система управления обучением iSpring Learn может оценивать задания следующих типов
[4]
– верно/неверно;
– одиночный выбор;
– множественный выбор;
– ввод строки;
– соответствие;
– порядок;
– ввод числа (можно указывать как отдельные числовые значения, так и числовые интервалы и промежутки. Например, больше или равно 5);
– пропуски (нужно заполнить пропуски в тексте задания);
– вложенные ответы (выбрать правильный вариант из выпадающего списка);
– банк слов (поместить слова из банка слов в пропуски в тексте).
В заданиях на
Система управления обучением Moodle работает с заданиями множественного выбора, в которых допустимо указание одного или нескольких вариантов правильного ответа без возможности объяснения выбора [5, С. 32].
Российская платформа поддержки онлайн-курсов GetCourse поддерживает четыре типа заданий — [6]
В других системах систем управления обучением также не удалось найти функцию сохранения текстового объяснения в заданиях с выбором ответа, результатом чего стал вынужденный переход от компьютерной к бумажной (бланковой) технологии при проведении в октябре 2025 года в Восточно-Сибирском институте МВД России на кафедре информационных технологий внутренней оценки качества образования по дисциплине «Информационные технологии в профессиональной деятельности». При апробации использовались комплекты заданий комбинированного типа, а также на установление соответствия, последовательности и открытого типа с развернутым ответом. Комбинированные задания составили 80% всех материалов. В апробации приняли участие 83 курсанта бакалавриата (направление 40.03.02) и специалитета (специальности 40.05.01 и 40.05.03)
[7, С. 28-29].
Препятствие внедрению заданий
комбинированного
Следующий фактор, препятствующий эффективному применению заданий
комбинированного [1, С. 33].
Инструкция предъявляет единственное формальное требование к объяснению выбора варианта ответа — его наличие, не уточняя, как именно должна быть построена аргументация.
При апробации около 50% объяснений выбора варианта ответа в заданиях
комбинированного понимание причинно-следственных связей. Например, для приведенного выше задания по устройствам хранения данных получены ответы:
– «Потому что в этих устройствах используется магнитный принцип записи, в отличие от остальных вариантов»;
– «Нужно выбрать устройства с магнитным принципом. Под это описание подходят только жёсткий диск и ленточный накопитель»;
– «Верные ответы — Б и В, потому что они магнитные, а остальные варианты в списке — нет»;
– «В соответствии с принципом работы указанных устройств».
К сожалению, такие объяснения не гарантируют понимание, так как могут быть просто перефразированием текста задания. Поэтому за подобными объяснениями могут скрываться попытки угадывания. Следовательно, эффективность защиты от угадывания при таком подходе нельзя признать удовлетворительной. Например, любой ответ на вопрос о правилах дорожного движения (скажем, очередность проезда транспортных средств) можно обосновать «в соответствии с ПДД». Между тем, для создания высоконадежных компьютерных тестов для оценивания учебных достижений требуются задания с повышенной устойчивостью к угадыванию верных ответов [8, С.130].
Представим, как должно выглядеть правильное объяснение, демонстрирующее понимание причинно-следственных связей:
Ответ: Б (Жесткий диск), В (Ленточный накопитель).
Объяснение: Жесткий диск хранит информацию на магнитных пластинах, где данные записываются изменением намагниченности участков поверхности. Стример, аналогично магнитофону, использует магнитную ленту, информация кодируется последовательностью намагниченных областей. CD-RW диск работает на оптическом принципе (изменение отражающей способности), а SSD использует флеш-память, основанную на электрическом хранении заряда.
Чтобы исключить формальную корректность слишком кратких и общих объяснений, требуется доработать инструкцию, связав объяснение с принципом работы устройств и принадлежностью к магнитным носителям, например:
Прочитайте текст, выберите правильные ответы и запишите аргументы, обосновывающие выбор ответов. В аргументах необходимо:
1. Для каждого верного варианта объяснить, на каком физическом принципе основана запись информации, с указанием ключевых элементов устройства (например, магнитные пластины, лента и т.д.).
2. Для каждого неверного варианта указать, какой принцип записи фактически используется.
При таком изменении инструкции появляется основание считать неудовлетворительными слишком краткие и общие объяснения.
Таким образом, для преодоления неэффективности защиты от угадывания следует перейти от одинаковых для всех комбинированных заданий типовых инструкций к индивидуальным, требующим демонстрации понимания причинно-следственных связей.
Методические рекомендации предусматривают экспертную проверку заданий комбинированного типа
[1, С. 38].[9, С. 38]
На помощь может прийти искусственный интеллект, а конкретно — использование больших языковых моделей (LLM) через интерфейсы прикладного программирования (API)
[10, С. 171]
Разработана функция на языке Python для автоматизации проверки комбинированного задания. Входящие данные Q — текст вопроса, A() — список правильных вариантов ответа (1–5 элементов), B — текстовое обоснование выбора правильных ответов. Функция подключается к ИИ через API и проверяет формальное соответствие текстового обоснования заданию и указанным вариантам правильного ответа. Результат работы: 0 — при отсутствии формального соответствия, 1 — при формальном соответствии, 2 — в случае неоднозначности.
Основной программный код:
Проверяет формальное соответствие текстового обоснования правильным ответам.
Параметры:
Задача: Проверить формальное соответствие обоснования правильным ответам.
Вопрос: {Q}
Правильные ответы (один или несколько):
{chr(10).join([f'{i+1}. {answer}' for i, answer in enumerate(A)])}
Обоснование выбора: {B}
Требуется определить:
1. Есть ли прямое формальное соответствие между обоснованием и правильными ответами?
2. Является ли обоснование неоднозначным или двусмысленным?
Проанализируй обоснование по следующим критериям:
– Содержит ли оно прямые ссылки или логические связи с правильными ответами?
– Противоречит ли оно каким-либо правильным ответам?
Верни ответ в формате JSON:
{{
В тестовом режиме перепроверено 180 обоснований ответов на задания комбинированного типа, полученных при апробации. Расхождений с экспертными оценками не выявлено. Такой результат ожидаем при анализе учебных достижений и свидетельствует о реалистичности автоматизации проверки комбинированных заданий в массовой педагогической практике.
Функция может быть интегрирована в образовательные платформы для автоматической проверки обоснований ответов, в частности в авторскую систему автоматизации контроля знаний Assistent (свидетельство о государственной регистрации программы № 2008610441).
4. Заключение
Проведённое исследование позволяет сформулировать следующие выводы о путях преодоления барьеров на пути внедрения заданий комбинированного типа в педагогическую практику:
1. Технологическое препятствие, связанное с отсутствием поддержки в LMS, является формальным и легко устранимым. Оно требует не отказа от инновации, а адресных запросов от образовательного сообщества к разработчикам платформ на доработку функционала тестирования, что является технически тривиальной задачей.
2. Методическое препятствие — низкая эффективность защиты от угадывания — преодолевается путём отказа от универсальных шаблонных инструкций. Необходима разработка индивидуализированных инструкций, которые явно требуют от обучающегося раскрыть конкретные причинно-следственные связи, принципы работы или логические основания выбора.
3. Организационно-кадровое препятствие, заключающееся в росте экспертной нагрузки на преподавателей, может быть кардинально решено за счёт автоматизации проверки текстовой аргументации. Разработанная и апробированная функция на основе LLM демонстрирует высокую согласованность с экспертными оценками, подтверждая реалистичность такого подхода. Интеграция подобных инструментов в образовательные платформы позволит масштабировать применение комбинированных заданий без ущерба для качества контроля и рабочего времени педагогов.