Submit manuscript Sign in / Sign up
Advanced search
Article sections

EFFECTIVENESS METRICS OF DISTANCE LEARNING IN SOCIAL SCIENCES AND HUMANITIES

Research article
Kovaleva M.N.
Shibaev D.V.
Sinitsyna T.I.
DOI:
https://doi.org/10.23670/IRJ.2021.105.3.068
Issue: № 3 (105), 2021
Published:
2021/03/17
PDF

МЕТРИКИ ЭФФЕКТИВНОСТИ ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ПРЕПОДАВАНИИ СОЦИАЛЬНО-ГУМАНИТАРНЫХ ДИСЦИПЛИН

Научная статья

Ковалева М.Н.1, *, Шибаев Д.В.2, Синицына Т.И.3

1 ORCID: 0000-0003-1659-0378;

2 ORCID: 0000-0002-6586-1667;

3 ORCID: 0000-0001-9277-9776;

1, 2, 3 Северо-Западный институт (филиал) Университета имени О.Е. Кутафина (МГЮА), Вологда, Россия

* Корреспондирующий автор (Kovaleva.mn[at]bk.ru)

Аннотация

В статье рассматривается вопрос об оценке качества реализуемого повсеместно в России дистанционного формата образования за счет выявления ключевых параметров эффективности (метрик) онлайн-курсов, разработанных для преподавания социально-гуманитарных дисциплин, которые, в свою очередь, являются обязательной частью программ в высшей школе (ОП ВО). Определены перспективные направления для системы высшего образования, даны характеристики основных форматов онлайн-образования. В статье представлена авторская методика, построенная на разработках зарубежных и отечественных исследователей, для определения ключевых метрик эффективности онлайн-обучения. Метрики эффективности могут применяться, как в проприетарном формате, для самооценки онлайн-курсов их создателями, так же в открытом формате и стать востребованными для сторонних вузов.

Ключевые слова: онлайн-обучение; эффективность; дистанционное обучение; метрики эффективности; контроль качества.

EFFECTIVENESS METRICS OF DISTANCE LEARNING IN SOCIAL SCIENCES AND HUMANITIES

Research article

Kovaleva M.N.1, *, Shibaev D.V.2, Sinitsyna T.I.3

1 ORCID: 0000-0003-1659-0378;

2 ORCID: 0000-0002-6586-1667;

3 ORCID: 0000-0001-9277-9776;

1, 2, 3 Northwest Institute, the branch of the Kutafin Moscow State Law University, Vologda, Russia

* Corresponding author (Kovaleva.mn[at]bk.ru)

Abstract

The article deals with the issue of assessing the quality of widely implemented distance education in Russia by identifying the key performance parameters (metrics) of online courses developed for teaching social sciences and humanities, which, in turn, are a mandatory part of higher education programs. The study defines the promising trajectories for the system of higher education and provides characteristics of the main formats of online education. Based on foreign and domestic research, the author presents a methodology for determining the key metrics of the effectiveness of online learning. Performance metrics can be used both in a proprietary format for self-assessment of online courses by their creators as well as in an open format and seek out popularity in other higher education institutions.

Keywords: online training; efficiency; distance learning; performance metrics; quality control.

Эссенция опыта перехода к дистанционному обучению позволяет выделить ряд положительных тенденций, которые могут стать частью традиционного университетского образования в России (при условии отсутствия внешних угроз в виде пандемий или иных провоцирующих экстремальных факторов). Дистанционное образование пластично, может использоваться в очной, заочной, очно-заочной формах обучения, на определенных этапах обучения, в ходе реализации основных и дополнительных образовательных программ [1, С. 14].

К числу перспективных векторов развития системы высшего образования относится уже начатый процесс интеграции онлайн-курсов (как ключевое средство реализации дистанционной формы обучения) в основные образовательные программы высшего профессионального образования. Рассмотрим процесс объединения двух форматов образования на примере преподавания социально-гуманитарных дисциплин. Интеграция может быть реализована в следующих формах:

  1. Самостоятельный выбор, когда обучающийся вправе выбирать онлайн-курс из перечня рекомендуемых курсов вузом, как альтернативу традиционной аудиторной формы обучения (это могут быть собственные курсы, разработанные данным учебным учреждением, так же курсы, разработанные сторонними вузами, которые соответствуют ООП) с возможностью перезачесть результаты освоения курса, подтвердив данный факт сертификатом.
  2. Рекомендованный выбор, когда обучающийся обязан изучить конкретный учебный онлайн-курс в рамках сотрудничества университетов (несколько онлайн-курсов), для этого университет включает в учебный план образовательной программы один или несколько онлайн-курсов по дисциплинам стороннего вуза (вузов), обучающийся в таком случае подтверждает прохождение курса в стороннем университете сертификатом о прохождении курса.
  3. Комбинированный, когда обучающийся получает возможность совмещать онлайн обучение по отдельным модулям программы дисциплины и традиционное обучение, при этом выбирать форму промежуточной аттестации (зачет/экзамен для традиционной формы или тестирование (или иная форма, предусмотренная программой онлайн-курса) для получения сертификата в рамках дистанционной формы обучения).
  4. Дополнительный, когда обучающийся проходит онлайн-курс с целью получения дополнительной и/или уточняющей информации в ходе традиционного формата обучения, для дополнительного контроля знаний. Обучающиеся получают сертификат о прохождении курса с оценкой знаний, который имеет ориентировочную основу. В качестве зачета по дисциплине сертификат не может быть применен.

Ведущие вузы России сегодня демонстрируют заинтересованность и готовность в создании онлайн-курсов, как с целью повышения вариативности, гибкости, качества и доступности предоставления образовательных услуг в своем учебном заведении, так и с целью трансляции передового опыта в открытое образовательное пространство, которое выступает современным компонентом системы высшего образования в нашей стране. Наряду с этим возникает необходимость в оценке эффективности создаваемых информационных продуктов (онлайн-курсов ключевых дисциплин), в первую очередь, для возможности их дальнейшего совершенствования [4].

В целом проблематика дистанционной формы обучения достаточно полно изучена и широко представлена в отечественной науке [5, С. 134], [6, С. 56–67]. Так же актуализирована в работах иностранных авторов (S. Bartley [7, С. 167–175], P. Brusilovsky [8, С. 402-421], N. Raghu [9, С. 65-75], S. Sussman [10, С. 1-10]. Рядом авторов выполнены пилотные исследования по выявлению признаков эффективности дистанционного обучения. Данные исследования осуществлены на основе анкетирования и и/или интервьюирования субъектов образовательного процесса (обучающиеся, преподаватели, работники вузов) [3, С. 41–47].

Мы предполагаем, что такая оценка показывает скорее отношение респондентов к дистанционному обучению, нежели ключевые показатели, по которым может быть выполнен анализ эффективности онлайн-обучения (далее метрики), которые можно было бы выразить в конкретных цифрах и/или баллах.

В связи со сложившимся противоречием мы посчитали актуальным провести исследование на предмет выявления ключевых метрик эффективности дистанционного обучения.

Для выявления ключевых метрик реализации курсов учебных дисциплин в дистанционном формате мы распределили оценочные характеристики в соответствии с этапом реализации онлайн-курса (см. рисунок 1).

18-03-2021 13-22-02

Рис. 1 – Этапы реализации онлайн-курса

 

На первом этапе оценки (до запуска онлайн-курса) учитываются следующие параметры: 1) роль и компетенции организатора онлайн-курса (преподаватель, методист, эксперт и т.д.), 2) характеристики процесса реализации онлайн-курса (применение специфических методик, гибкость планирования, независимый контроль знаний и др.). На втором этапе (после запуска онлайн-курса) для итоговой оценки эффективности курса мы предлагаем применять модель Киркпатрика (в 2016 году было осуществлено исследование CEB «Learning Analytics: Measurement Innovations to Support Employee Development», в рамках данного опроса было установлено - данная модель является самой распространенной в оценке эффективности процесса обучения) [2, С. 161-179].

Модель Киркпатрика позволяет объективно оценить ценность онлайн-курса для всех субъектов образовательного процесса (преподаватель, сам обучающийся, вуз). Указанная модель включает 4 уровня (см. рисунок 2):

m_merged66

Рис. 2 – Метрики оценки эффективности онлайн-курсов

 
  1. Первый уровень – «Реакция участников». Цель – получить обратную связь от обучающихся: что понравилось в курсе, что вызвало затруднения, общее впечатление, что можно было бы улучшить и т.д. Здесь применимы живые интервью, опросники и анкеты, онлайн-опросы и формы обратной связи. Данные автоматически обрабатываются.
  2. Второй уровень – «Обучение». Цель – измерить уровень теоретического понимания обучающимися усвоенного материала. Чаще всего на данном этапе используются онлайн-тесты, практические задания, учебные симуляции, опросы, письменные экзамены. Оценка осуществляется набранным баллам, учитывается прогресс обучающегося, с этой целью проводится установочное тестирование обучающегося до прохождения курса. Это дает понимание об объективности оценок.
  3. Третий уровень – «Применение». Цель – измерить практические навыки, полноту реализации на практике полученных знаний. Для это подходит применение интервью с руководителями учебных практик, решение кейсов, в том числе в виртуальной среде, возможность консультировать (самому обучающемуся выступать в роли преподавателя) по проблематике дисциплины.
  4. Четвертый уровень – «Результаты». Цель – выявить взаимосвязь между целью, которая была поставлена в начале обучения и итоговыми результатами обучения. Это уровень обобщения и подведения итогов.

Данная модель оценки качества дистанционного обучения может быть полезна как создателям онлайн-курсов (сотрудники вузов и/или привлеченные сторонние эксперты), в качестве способа самооценки и определения уровня эффективности информационного продукта, так же руководителям образовательных учреждений, поскольку в их компетенции оценивать качество работы сотрудников образовательного учреждения в рамках реализации ими эффективного контракта.

Подводя итоги отметим, метрики эффективности онлайн-обучения позволяют уйти от субъективизма в оценке труда всех участников образовательного процесса: обучающегося, преподавателя, самого вуза. Этот процесс может быть достигнут за счет: наличия обратной связи, возможности выстраивать образовательную траекторию для обучающегося, прогнозировать результат обучения (метрика прогресса обучающихся); гибкого форматирования самого онлайн-курса с включением в него адекватных методик преподавания, независимых оценок (компетентностная метрика); создания рейтинга обучающихся (повышение их конкурентоспособности как внутри вуза в период обучения, так и по окончании вуза на рынке труда), преподавателей онлайн-курсов (как объективный показатель при принятии руководством вуза решении о поощрении сотрудников с высоким рейтингом) и самих онлайн-курсов (повышение престижа вуза, который реализует онлайн-курсы в рамках открытого образования) - оценочная метрика.

Применимость модели метрик эффективности онлайн-обучения может быть актуальной так же в рамках разработки экспертами проектной документации по стандартизации дистанционного обучения в нашей стране в среднесрочной перспективе.

Конфликт интересов Не указан. Conflict of Interest None declared.

Список литературы / References

  1. Вайндорф-Сысоева М.Е. Методика Дистанционного обучения: учеб. Пособие для вузов / М.Е. Вайндорф-Сысоева, Т.С. Грязнова, В.А. Шитова; под общ. Редакцией Вайндорф-Сысоевой. - М.: Издательство Юрайт, 2017. - 194 с.
  2. Долженко Р.А. Опыт оценки эффективности обучения в корпоративном университете Сбербанка / Р. А. Долженко // Вестник Томского государственного университета. Экономика. 2018. № 42. С. 161-179.
  3. Клименских М.В. К вопросу об эффективности дистанционного обучения: исследование представлений / М.В. Клименских, О.С. Виндекер // Педагогическое образование в России. – 2017. – № 10. – С. 41–47.
  4. Национальная платформа открытого образования [Электронный ресурс]. – ГКД: https://openedu.ru/ (дата обращения: 28.12.2020).
  5. Хуторской А.В. Педагогическая инноватика: методология, теория, практика / А.В. Хуторской. – М.: УНЦ ДО, 2005. – 221 с.
  6. Шутенко А. И. Информационные технологии дистанционного обучения как инструменты повышения доступности и полноценности вузовской подготовки / А. И. Шутенко // Вестник по педагогике и психологии Южной Сибири. – 2016. – № 4. – С. 56–67.
  7. Bartley S. J. Evaluating the cost effectiveness of online and face-to-face instruction / S. J. Bartley, J. H. Golek // Educational Technology & Society. – 2004. – № 7 (4). – P. 167–175.
  8. Brusilovsky P. Layered evaluation of adaptive learning systems / P. Brusilovsky, C. Karagiannidis, D. Sampson // International Journal of Continuing Engineering Education and Life Long Learning. – 2004. – № 14. – P. 402–421.
  9. Raghu N. Effectiveness of Teaching and Learning Process in Online Education as Perceived by University Faculty and Instructional Technology Professionals / N. Raghu, H. David // Journal of Teaching and Learning with Technology. – 2017. - № 6 (1). – P. 65-75.
  10. Sussman S. Comparing student learning outcomes in face-to-face and online delivery / S. Sussman, L. Dutter // Online Journal of Distant Learning Administration. – 2013. – № 13 (4). – P. 1–10.

Список литературы на английском языке / References in English

  1. Vaindorf-Sysoeva M. E. Metodika Distancionnogo obuchenija: ucheb. Posobie dlja vuzov [Methodology of Distance Learning: A Textbook for University Students] / M. E. Vaindorf-Sysoeva, T. S. Gryaznova, V. A. Shitova; edited by Vaindorf-Sysoeva. - M.: Publishing house Yurayt, 2017. - 194 p. [in Russian]
  2. Dolzhenko R. A. Opyt ocenki ehffektivnosti obuchenija v korporativnom universitete Sberbanka [Experience in Evaluating the Effectiveness of Training at Sberbank Corporate University] / R. A. Dolzhenko // Vestnik Tomskogo gosudarstvennogo universiteta. Ehkonomika [Tomsk State University Journal. Economy]. 2018. № 42, pp. 161-179 [in Russian]
  3. Klimanskikh M. V. K voprosu ob ehffektivnosti distancionnogo obuchenija: issledovanie predstavlenijj [On the Issue of the Effectiveness of Distance Learning: A Study of Representations] / M. V. Klimanskikh, O. S. Vindeker // Pedagogicheskoe obrazovanie v Rossii [Pedagogical education in Russia]. - 2017. - No. 10, pp. 41-47 [in Russian]
  4. Nacional'naja platforma otkrytogo obrazovanija [National Platform for Open Education] [Electronic resource]. – URL: https://openedu.ru/ (accessed: 28.12.2020) [in Russian]
  5. Khutorskoy, A. V. Pedagogicheskaja innovatika: metodologija, teorija, praktika. [Pedagogical Innovation: Methodology, Theory, Practice] / A. V. Khutorskoy. - M.: Educational and Scientific Center of Pre-University Education, 2005. - 221 p. [in Russian]
  6. Shutenko A. I. Informacionnye tekhnologii distancionnogo obuchenija kak instrumenty povyshenija dostupnosti i polnocennosti vuzovskojj podgotovki [Information Technologies of Distance Learning as Tools for Improving the Accessibility and Usefulness of University Training] / A. I. Shutenko // Bulletin of Pedagogy and Psychology of Southern Siberia. - 2016. - No. 4. - pp. 56-67 [in Russian]
  7. Bartley S. J. Evaluating the cost effectiveness of online and face-to-face instruction / S. J. Bartley, J. H. Golek // Educational Technology & Society. – 2004. – № 7 (4). – P. 167–175.
  8. Brusilovsky P. Layered evaluation of adaptive learning systems / P. Brusilovsky, C. Karagiannidis, D. Sampson // International Journal of Continuing Engineering Education and Life Long Learning. – 2004. – № 14. – P. 402–421.
  9. Raghu N. Effectiveness of Teaching and Learning Process in Online Education as Perceived by University Faculty and Instructional Technology Professionals / N. Raghu, H. David // Journal of Teaching and Learning with Technology. – 2017. - № 6 (1). – P. 65-75.
  10. Sussman S. Comparing student learning outcomes in face-to-face and online delivery / S. Sussman, L. Dutter // Online Journal of Distant Learning Administration. – 2013. – № 13 (4). – P. 1–10.