АФФЕКТИВНЫЕ ВЫЧИСЛЕНИЯ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ

АФФЕКТИВНЫЕ ВЫЧИСЛЕНИЯ В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ

Научная статья

Череповская Е.Н.^1, *, Лямин А.В.²

¹ ORCID: 0000-0003-1836-0453;

² ORCID: 0000-0002-7387-0694;

^{1, 2} Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Россия

* Корреспондирующий автор (cherepovskaya[at]itmo.ru)

Аннотация

Нацеленность современного образования на предоставление качественного контента в дистанционном формате привело к стремительному развитию технологий и систем онлайн-обучения. Использование различных форм подачи обучающих материалов, а также методов и форм оценивания полученных знаний и навыков повлекло за собой необходимость идентификации личности обучающегося, проходящего аттестацию, анализа его навыков, а также отслеживания его функционального состояния во время аттестаций с тем, чтобы в нужное время иметь возможность снизить или повысить нагрузку. В данной статье рассматриваются методы, нацеленные на решение указанных проблем посредством регистрации и анализа движения глаз и траектории взгляда, описываются результаты проведенных экспериментальных исследований работы разработанных методов.

Ключевые слова: движения глаз, траектория взгляда, биометрическая идентификация, анализ навыков обучающихся, анализ функционального состояния.

AFFECTIVE COMPUTING IN EDUCATIONAL TECHNOLOGY SYSTEMS

Research article

Cherepovskaya E.N.^1, *, Lyamin A.V.²

¹ ORCID: 0000-0003-1836-0453;

² ORCID: 0000-0002-7387-0694;

^{1, 2} ITMO University, Saint Petersburg, Russia

* Corresponding author (cherepovskaya[at]itmo.ru)

Abstract

The focus of modern education on providing high-quality content in a remote format has led to the rapid development of online learning technologies and systems. The use of various forms of presentation of training material as well as methods and forms of evaluating the acquired knowledge and skills has also led to the need in confirming the identity of the student participating in the tests, analyzing their skills, as well as tracking their functional state during tests in order to have the ability to timely reduce or increase their workload. The article discusses methods aimed at solving these problems by registering and analyzing eye movement and gaze trajectory and describes the results of experimental studies of the developed methods.

Keywords: eye movements, gaze trajectory, biometric identification, student skills analysis, functional state analysis.

Введение                                                                                                          

Образовательным организациям необходимо обеспечивать формирование у обучающихся не только знаний, но и навыков, что становится невозможным без применения информационных технологий и, в частности, систем электронного обучения и образовательных онлайн-платформ [1]. Они позволяют обучающимся получить доступ к различным учебно-методическим материалам, размещаемым в системах в форме онлайн-курсов, сформировать необходимые умения и навыки путем прохождения обучающих тестов, тренажеров, упражнений и виртуальных лабораторий и осуществить контроль полученных знаний, умений и навыков с помощью аттестующих мероприятий. Многие онлайн-курсы по результатам прохождения обеспечивают выдачу студентам электронных сертификатов, подтверждающих полученные знания и навыки обучающихся. Другие же онлайн-курсы нацелены на организацию адаптивной подачи контента в соответствии с текущим уровнем каждого конкретного обучающегося. Эти задачи поднимают проблемы необходимости идентификации личности и навыков обучающихся, работающих с материалом на онлайн-платформах, и определение их функционального состояния при просмотре определенных материалов или прохождении конкретных испытаний.

Аффективные вычисления представляют собой научную область, нацеленную на исследования и разработку методов, алгоритмов, систем и устройств регистрации, обработки, анализа и интерпретации биометрических сигналов, а также человеческих чувств и эмоций. В частности, к анализируемым биометрическим сигналам относятся траектория взгляда [2], [3], сигналы электрической активности сердца [4] и мозга [5], походка [6] и др. Внедрение методов и средств анализа биометрических данных для аффективных вычислений в системы электронного обучения позволит создать современную автоматизированную обучающуюся среду, комфортную для каждого конкретного обучающегося. Методы анализа данных с использованием аффективных вычислений позволяют организовать надежные процедуры обеспечения идентификации личности, навыков обучающихся и анализа их функционального состояния.

Биометрические методы идентификации не требуют от человека запоминания большого объема дополнительных данных (паролей, ключей и т.д.), необходимых для авторизации в системе, что снижает когнитивную нагрузку на человека в процессе взаимодействия с информационными системами. Для проведения биометрической идентификации личности в рамках проводимых в мире исследований используются различные типы биометрических сигналов, в том числе траектория взгляда [7], [8], [9], [10] электрическая активность мозга [5] или сердца [11], [14], электронный почерк [12], подпись [13], походка [6] и др. Движения глаз и траектория взгляда являются одним из наиболее значимых типов сигналов ввиду того, что содержат в себе несколько видов информации одновременно, в том числе информацию о личности человека, информацию о результатах его обучения, а также информацию о его функциональном состоянии.

Было проведено множество исследований биометрической идентификации на основе данных траектории взгляда. Одним из таких исследований является работа финских авторов [8] по изучению влияния различных параметров движения глаз на результаты биометрической идентификации. В работе анализировались данные саккад, результат ошибочно идентифицированных записей для различных вычислительных экспериментов составил от 10% до 20% соответственно.

Анализ траектории взгляда и движения глаз также могут быть использованы для верификации результатов обучения. В одном из таких исследований [2] авторы изучали возможность использования характеристик движения глаз и траектории взгляда в целях анализа результатов обучения студентов первых курсов бакалавриата при выполнении ими компьютерных заданий по физике. В качестве основных рассматриваемых характеристик авторами были выбраны средняя длительность фиксаций, средняя дистанция саккад и количество возвращений к ранее прочитанному материалу при работе с текстом. Анализ данных показал ошибку определения результатов в 30-35% в зависимости от характеристик теста, проходимого испытуемыми.

Одним из основных сигналов, с помощью которого можно однозначно определить функциональное состояние человека, является электрическая активность сердца. В этих целях используется метод анализа вариабельности сердечного ритма (Heart Rate Variability, HRV) [4], [14]. Однако, характеристики глаз, в частности расширение зрачков, также могут быть использованы для определения функционального состояния. В качестве примера можно привести работу [15], где в рамках проводимого эксперимента испытуемым ежедневно представлялись различные тексты в аудио-формате. В рамках эксперимента приняли участие 24 человека, данные были зарегистрированы с помощью айтрекера с частотой дискретизации данных 50 Гц. В результате проведенных экспериментов была обнаружена корреляция изменений диаметра зрачка с напряженностью при восприятии материалов.

Научными результатами представленного в статье исследования являются методы биометрической идентификации, верификации результатов обучения и анализа функционального состояния в системах электронного обучения на основе данных траектории взгляда и движений глаз. Научная новизна разработанных методов заключается в обосновании возможности использования низкочастотных устройств для регистрации траектории взгляда и движений глаз в целях проведения идентификации личности, верификации результатов обучения и анализа функционального состояния обучающегося. Это позволяет обеспечить возможность повсеместного использования представленных методов в современных информационных системах.

Биометрическая идентификация

Траектория взгляда представляет собой почти периодический сигнал, где в качестве повторяющихся фрагментов можно выделить саккады (см. рисунок 1). Саккады, в отличие от фиксаций, характеризуют быстрые перемещения взгляда между двумя точками фиксаций и содержат уникальную информацию о личности человека, что может быть использовано в целях биометрической идентификации.

Рис. 1 – Анализируемый фрагмент траектории взгляда (саккада)

 

Айтрекер, использующийся для регистрации непрерывной траектории взгляда, фиксирует сигнал с определенной частотой дискретизации. Для восстановления изначального сигнала можно использовать его аппроксимацию с помощью ряда Тейлора с помощью производных функции.

    (1)

В этом случае коэффициенты ряда Тейлора будут содержать наиболее подробную информацию об изначальном сигнале, что позволяет использовать эти коэффициенты в качестве основных рассматриваемых характеристик для обеспечения биометрической идентификации. Однако ввиду того, что сигнал зафиксирован в дискретном виде, коэффициенты ряда Тейлора представляются в разработанном методе в виде конечных разностей. Список рассчитанных характеристик для выделенных фрагментов некоторого сигнала можно представить в следующем виде:

    (2)

где r – идентификатор сигнала, l – количество рассчитанных характеристик для фрагмента.

По окончании расчета характеристик фрагментов применяется тест Колмогорова-Смирнова для определения соответствия функций распределения каждой из характеристик между рассматриваемым сигналом и сигналом, зарегистрированным в базе данных. На выходе теста Колмогорова-Смирнова, проведенного для каждой из характеристик, получаем матрицы вероятностей соответствия эмпирических функций распределения для характеристики рассматриваемого сигнала и сигнала из базы данных по каждой из характеристик. Функции распределения в данном случае определяются выборками, сформированными для каждой отдельной характеристики для выделенных фрагментов сигналов.

Схема разработанного метода распознавания сигналов представлена на рисунке 2. В ходе разработки метода было решено сформулировать два алгоритма – попарного сравнения и объединенных данных – с целью сравнения результатов их работы по итогам экспериментальных исследований.

Рис. 2 – Метод анализа траектории взгляда для биометрической идентификации

 

Алгоритм попарного сравнения базируется на расчете дистанций между записями на основе вероятностей теста Колмогорова-Смирнова для каждой пары записей. Изначально необходимо рассчитать дистанцию между двумя записями по каждой отдельной характеристике:

    (3)

где K –переменная, имеющая распределение Колмогорова, n_r и n_q – объемы выборок для сигналов r (рассматриваемый сигнал) и q (сигнал, хранящийся в базе данных) соответственно,  – i-тая характеристика сигналов r и q, и  – значение статистики теста Колмогорова-Смирнова для i-той характеристики сигналов r и q,   – эмпирические функции распределения i-той характеристики сигналов r и q.

Используя значения дистанции по характеристикам между сигналами, следует вычислить итоговые дистанции между сигналами по следующей формуле:

    (4) где l – общее количество рассчитанных характеристик.

Также мы можем определить формулу расчета дистанции от рассматриваемого сигнала до некоторого класса сигналов, хранящихся в базе данных:

    (5) где  – класс сигналов, находящийся в базе данных.

Для минимизации погрешности, метод предусматривает расчет порогов для классов сигналов, хранящихся в базе данных, и исключение из рассмотрения тех классов, дистанция до записей которых от сигнала не проходит установленные пороги. Для алгоритма попарного сравнения пороги для классов рассчитываются следующим образом:

   (6) где  – порог для класса   – дистанция от сигнала r до класса

После того, как лишние классы были исключены из рассмотрения, запускается алгоритм определения ближайшего класса по некоторому предустановленному количеству k>0 ближайших записей. Выходом алгоритма является класс, для которого было набрано необходимое количество ближайших записей.

Основным отличием алгоритма объединенных данных от алгоритма попарного сравнения является формат данных, для которых осуществляется запуск теста Колмогорова-Смирнова. Если для алгоритма попарного сравнения используются данные отдельных записей, сгруппированные по характеристикам, то в алгоритме объединенных данных характеристики класса из базы данных строятся на основе всех записей класса, объединенных в единую структуру по формуле:

    (7)

Другим важным отличием алгоритмов является формула расчета дистанции от текущего рассматриваемого сигнала до класса. Алгоритм объединенных данных основан на теореме Байеса:

    (8)

Таким образом, формула расчета дистанции от записи до класса представляется как:

     (9)

Одним из завершающих шагов алгоритма является расчет порогов для классов базы данных, который производится аналогично алгоритму попарного сравнения. Итоговый класс для рассматриваемого сигнала определяется как ближайший класс, на основе рассчитанных значений дистанций и классов, успешно прошедших проверку порогов.

Верификация результатов обучения

Для верификации результатов обучения человека, в отличие, от идентификации его личности, в первую очередь необходимо анализировать фиксации взгляда. Фиксации позволяют наиболее точно определить область, к которой было приковано внимание человека при изучении им обучающих материалов и прохождении аттестующих мероприятий.

В качестве основных анализируемых характеристик были выделены частота фиксаций взгляда на области, частота отдельных типов переходов между областями, длительность переходов и распределение времени фиксации взгляда по областям.

Разработанный метод предполагает сведение задачи верификации результатов обучения к задаче классификации при наличии в базе данных системы онлайн-обучения эталонных сведений для различных классов, характеризующих уровни навыков обучающихся (например: новичок, средний, эксперт). Аналогично описанному в предыдущем разделе методу биометрической идентификации, для рассчитанных наборов характеристик вычисляются вероятности двухвыборочного теста Колмогорова-Смирнова для осуществления сравнения эмпирических функций распределения классифицируемых величин. Для верификации результатов обучения используется алгоритм попарного сравнения.

Анализ функционального состояния

В качестве основных параметров функционального состояния при анализе движений глаз в рамках разработанного метода выступают расширения диаметров зрачков или же абсолютные их значения. При рассмотрении абсолютных значений диаметров зрачков формируется последовательность значений диаметров зрачков, которая выступает в качестве характеристик индекса централизации и индекса напряжения. При рассмотрении значений расширений диаметра метод предполагает осуществление спектрального анализа полученных расстояний по аналогии с методом вариабельности сердечного ритма. Последовательность изменений (расширений) диаметра зрачка рассчитывается по следующей формуле:

   (10)

где D_i – значение диаметра зрачка для i-го отсчета времени.

Расчет показателей спектрального анализа проводится в ультранизкочастотном (ULF), сверхнизкочастотном (VLF), низкочастотном (LF) и высокочастотном (HF) диапазонах. Спектр данного сигнала содержит большие амплитуды колебаний даже на небольшой частоте, вследствие чего были определены следующие граница частотных диапазонов для расчета необходимых индексов:

bands = [0, 0.11; // ULF

 0.11, 0.165; // VLF

 0.165, 0.225; // LF

 0.225, 1 ]; // HF

Показатели определяются как суммы мощностей, попавших в заданный частотный интервал. После определения значений каждого показателя становится возможным рассчитать индекс централизации (IC) и индекс напряжения (SI):

     (11)

где HF, LF, VLF – показатели спектрального анализа в высокочастотном, низкочастотном и сверхнизкочастотном диапазонах соответственно.

       (12) где Mo, AMo и MxDMn – мода, амплитуда моды и вариационный размах соответственно.

Результаты экспериментальных исследований

В рамках проведения экспериментальных исследований регистрация траектории взгляда была осуществлена с использованием низкочастотного айтрекера, имеющего частоту дискретизации данных 30 Гц. Для получения и сохранения данных с айтрекера было разработано специальное программное обеспечение на языке Python. Полученные данные в дальнейшем обрабатывались в системе MATLAB, для которого был разработан соответствующий набор классов и функций, реализующий описанные в статье алгоритмы. Ввиду низкой частоты использованного устройства каждый анализируемый фрагмент сигнала состоял из пяти точек, при аппроксимации которого итоговое количество рассматриваемых характеристик, представленных конечными разностями, было равно десяти. Траектория взгляда не является линейным сигналом и может менять свое положение в плоскости при возникновении регрессий взгляда и т.п. Для обеспечения корректного расчета всех характеристик было решено представить каждую саккаду взгляда в собственной системе координат, повернутой относительно исходной плоскости.

В рамках эксперимента обучающимся было предложено пройти тест переплетенных линий, чтобы получить наиболее полные и объемные данные саккад взгляда во время отслеживания линий обучающимися. Общее количество участников эксперимента составило 45 человек, по итогам отбора данных которых удалось сформировать 27 классов, содержащих по 10 записей в каждом классе.

Для двух алгоритмов метода были рассчитаны значения равной ошибки (Equal Error Rate, EER), при которой значения ошибок ложных принятий (FAR) и ошибок ложных отказов (FRR) равны. В ходе тестирования работы методов из каждого класса поочередно изымались записи для тестирования, в то время как оставшиеся 9 записей формировали сам класс. По результатам анализа данного типа сигналов для алгоритма попарного сравнения ошибка распознавания составила 15,44%, а для алгоритма объединенных данных ошибка распознавания составила 16,18%.

Эксперимент, нацеленный на проверку работоспособности методов верификации результатов обучения, был проведен при участии 50 студентов Университета ИТМО. В качестве основного стимула был разработан когнитивный тренинг «Тетрис» с правилами, аналогичными одноименной компьютерной игре. Программное обеспечение когнитивного тренинга обеспечивало фиксацию всех необходимых данных о ходе взаимодействия обучающегося с интерфейсом тренинга и интеграцию с системой сбора данных о траектории взгляда. Интерфейс данного тренинга является динамическим, что накладывает дополнительные ограничения на итоговую интерпретацию полученных данных и методы их анализа.

По результатам полученных данных часть записей участников экспериментов была отсеяна ввиду их слишком короткой длительности. Для тренинга были выделены 10 областей интереса (AOI), 2 из которых являлись динамическими (падающая фигура и заполняющаяся внизу область) и одна представляла собой неидентифицируемую область (выход траектории взгляда за пределы границ когнитивного тренинга), остальные области были статическими (просмотр количества набранных очков, текущий уровень игры, область отображения следующих фигур, включающая три области каждой из следующих фигур, общее пространство с динамическими областями).

В качестве основных анализируемых переходов были выделены переходы между отдельными областями, группы переходов между двумя областями и связи между группами, группы переходов между тремя областями и связи между группами. Для указанных вариантов были рассчитаны частота фиксаций взгляда на области и частота конкретного типа переходов, длительность перехода (время от начала фиксации на первой области перехода до выхода за пределы второй/третьей области перехода) и распределение времени фиксации взгляда по областям. По результатам анализа для всех трех вариантов переходов между областями были получены минимальные результаты для параметра распределения времени фиксации взгляда, для которого ошибка верификации (EER) составила 20%. Остальные параметры показали результаты в 32-48% в зависимости от комбинации параметров.

Сбор данных для организации исследования методов анализа функционального состояния был проведен в ходе эксперимента с когнитивным тренингом «Тетрис». Во время проведения эксперимента аналогично данным траектории взгляда были получены данные о размере диаметра зрачков, который может быть использован для анализа функционального состояния. Также для каждого участника в процессе проведения эксперимента были собраны данные электрокардиограммы как основного сигнала, для которого имеется многолетнее подтверждение практики его использования в оценке функционального состояния.

Анализ вариабельности сердечного ритма основан на спектральном анализе RR-интервалов между R-пиками QRS-комплексов кардиосигнала. Использование алгоритма Пан-Томпкинса [16], основанного на частотном анализе кардиосигнала, позволяет определить QRS-комплексы и индексы R-пиков. Для полученного массива R-пиков рассчитываются RR-интервалы как расстояние в миллисекундах между соседними R-пиками. Далее для полученных значений в соответствии с [4] были рассчитаны индекс централизации и индекс напряжения.

Далее были рассчитаны показатели для полученных значений диаметров зрачков. С целью расчета индекса централизации и индекса напряжения для последовательности расширений зрачка был применен метод быстрого преобразования Фурье. В отличие от анализа кардиоинтервалограммы для исследования расширений зрачков было необходимо скорректировать частотные диапазоны в силу более высокой частоты сигнала. По результатам проведенного анализа был рассчитан коэффициент корреляции между значениями индексов, полученными для кардиоинтервалограммы и последовательностей диаметров зрачков и расширений диаметра зрачков. Результаты приведены в таблице 1.

 

Таблица 1 – Результаты анализа функционального состояния

	Последовательность расширений зрачков	Последовательность диаметров зрачков
Индекс централизации	0,37	0,42
Индекс напряжения	0,36	0,43

 

Результаты показали, что в качестве индикатора функционального состояния могут быть использованы как значения расширений зрачков, характеризующие мозговую активность обучающихся, так и диаметры, значения которых в большей мере описывают общий уровень напряжения человека. 

Заключение

Траектория взгляда и параметры движений глаз являются одним из наиболее богатых сигналов, позволяющих как обеспечить идентификацию личности человека, так и верифицировать его результаты обучения и определять функциональное состояние. Применение описанных в статье методов позволит построить удобную и комфортную информационную среду для обучающихся, в то же время обеспечив подтверждение получаемых ими результатов. Разработанные методы рассчитаны на использование в том числе и при регистрации данных с помощью низкочастотных устройств, что обеспечивает возможность их широкого применения в современных информационных системах. 

Финансирование Грант российского научного фонда № 20-78-10135.	Funding This work was supported by the Russian Science Foundation, grant no. 20-78-10135.
Конфликт интересов Не указан.	Conflict of Interest None declared.

Список литературы / References

1. Лямин А.В. Развитие электронного обучения, дистанционных образовательных технологий в НИУ ИТМО / А.В. Лямин, М.С. Чежин // Информационная среда вуза XXI века: материалы VII Международной научно-практической конференции. – С. 145-148. – 2013.
2. Chen S.C. Eye movements predict students' computer-based assessment performance of physics concepts in different presentation modalities / S.C. Chen, H.C. She, M.H. Chuang et al. // Computers & Education. – Vol. 74. – P. 61-72. – 2014.
3. Lyamin A.V. An Approach to Biometric Identification by Using Low-Frequency Eye Tracker / A.V. Lyamin, E.N. Cherepovskaya // IEEE Transactions on Information Forensics and Security. – Vol. 12. – № 4. – P. 881-891. – 2017.
4. Баевский Р. М. Анализ вариабельности сердечного ритма при использовании различных электрокардиографических систем / Р. М. Баевский, Г. Г. Иванов, Л. В. Чирейкин и др. // Вестник аритмологии. – №24. – С. 65 – 2002.
5. Koike-Akino T. High-accuracy user identification using EEG biometrics / T. Koike-Akino et al. // 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). – P. 854-858. – 2016.
6. Shinzaki M. Gait-based person identification method using shadow biometrics for robustness to changes in the walking direction / M. Shinzaki, Y. Iwashita, R. Kurazume et al. // 2015 IEEE Winter Conference on Applications of Computer Vision. – P. 670-677. – 2015.
7. Cherepovskaya E.N. A Unified Pattern Recognition Approach for Low-Frequency Biometric Signals / E.N. Cherepovskaya, A.V. Lyamin // Proceedings of 2017 Intelligent Systems Conference (IntelliSys). – P. 843-848. – 2017.
8. Zhang Y. On Biometrics With Eye Movements / Y. Zhang, M. Juhola // IEEE Journal of Biomedical and Health Informatics. – Vol. 21. – № 5. – P. 1360-1366. – 2017.
9. Holland C.D. Complex eye movement pattern biometrics: Analyzing fixations and saccades / C.D. Holland, O.V. Komogortsev // 2013 International Conference on Biometrics (ICB). – P. 1-8. – 2013.
10. Лямин А.В. Экспериментальные исследования биометрической идентификации пользователей на основе данных айтрекера Tobii X2-30 / А.В. Лямин, Е.Н. Череповская // Информационно-управляющие системы – 2015. – № 5(78). – С. 26-33.
11. Lyamin A.V. An Evaluation of Biometric Identification Approach on Low-Frequency ECG Signal / A.V. Lyamin, E.N. Cherepovskaya // Proceedings of the IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI 2017). – P. 137-142. – 2017.
12. Corpus K.R. Mobile User Identification through Authentication Using Keystroke Dynamics and Accelerometer Biometrics / K.R. Corpus, R.J.D.L. Gonzales, A.S. Morada et al. // 2016 IEEE/ACM International Conference on Mobile Software Engineering and Systems (MOBILESoft). – P. 11-12. – 2016.
13. Deore M.R. A survey on offline signature recognition and verification schemes / M.R. Deore, S.M. Handore // Proc. 2015 International Conference on Industrial Instrumentation and Control (ICIC). – P.165-169. – 2015.
14. Lisitsyna L. Estimation of Student Functional State in Learning Management System by Heart Rate Variability Method / L. Lisitsyna, A. Lyamin, A. Skshidlevsky // Frontiers in Artificial Intelligence and Applications. – Vol. 262. – P. 726-731. – 2014.
15. Koelewijn T. The pupil response reveals increased listening effort when it is difficult to focus attention / T. Koelewijn, H. de Kluiver, B.G. Shinn-Cunningham et al. // Hearing Research. – Vol. 323. – P. 81-90. – 2015.
16. Pan J. A Real-Time QRS Detection Algorithm / J. Pan, W.J. Tompkins // IEEE Trans. Biomedical Engineering. – Vol. BME-32. – № 3. – P. 230-236. – 1985.

Список литературы на английском языке / References in English

1. Lyamin A.V. Razvitie jelektronnogo obuchenija, distancionnyh obrazovatel'nyh tehnologij v NIU ITMO [The development of online learning and distant education technologies in NIU ITMO] / A.V. Lyamin, M.S. Chezhin // Informacionnaja sreda vuza XXI veka: materialy VII Mezhdunarodnoj nauchno-prakticheskoj konferencii. – P. 145-148. – 2013. [in Russian]
2. Chen S.C. Eye movements predict students' computer-based assessment performance of physics concepts in different presentation modalities / S.C. Chen, H.C. She, M.H. Chuang et al. // Computers & Education. – Vol. 74. – P. 61-72. – 2014.
3. Lyamin A.V. An Approach to Biometric Identification by Using Low-Frequency Eye Tracker / A.V. Lyamin, E.N. Cherepovskaya // IEEE Transactions on Information Forensics and Security. – Vol. 12. – № 4. – P. 881-891. – 2017.
4. Baevskij R. M. Analiz variabel'nosti serdechnogo ritma pri ispol'zovanii razlichnyh jelektrokardiograficheskih system [Heart rate variability analysis with using various electrocardiographic systems] / R. M. Baevskij, G. G. Ivanov, L. V. Chirejkin et al. // Vestnik aritmologii. – №24. – P. 65 – 2002. [in Russian]
5. Koike-Akino T. High-accuracy user identification using EEG biometrics / T. Koike-Akino et al. // 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). – P. 854-858. – 2016.
6. Shinzaki M. Gait-based person identification method using shadow biometrics for robustness to changes in the walking direction / M. Shinzaki, Y. Iwashita, R. Kurazume et al. // 2015 IEEE Winter Conference on Applications of Computer Vision. – P. 670-677. – 2015.
7. Cherepovskaya E.N. A Unified Pattern Recognition Approach for Low-Frequency Biometric Signals / E.N. Cherepovskaya, A.V. Lyamin // Proceedings of 2017 Intelligent Systems Conference (IntelliSys). – P. 843-848. – 2017.
8. Zhang Y. On Biometrics With Eye Movements / Y. Zhang, M. Juhola // IEEE Journal of Biomedical and Health Informatics. – Vol. 21. – № 5. – P. 1360-1366. – 2017.
9. Holland C.D. Complex eye movement pattern biometrics: Analyzing fixations and saccades / C.D. Holland, O.V. Komogortsev // 2013 International Conference on Biometrics (ICB). – P. 1-8. – 2013.
10. Lyamin A.V. Jeksperimental'nye issledovanija biometricheskoj identifikacii pol'zovatelej na osnove dannyh ajtrekera Tobii X2-30 [Experimental studies of biometric user identification based on data from the Tobii X2-30 eye tracker] / A.V. Lyamin, E.N. Cherepovskaya // Informatsionno-Upravliaiushchie Sistemy – 2015. – № 5(78). – P. 26-33. [in Russian]
11. Lyamin A.V. An Evaluation of Biometric Identification Approach on Low-Frequency ECG Signal / A.V. Lyamin, E.N. Cherepovskaya // Proceedings of the IEEE 15th International Symposium on Applied Machine Intelligence and Informatics (SAMI 2017). – P. 137-142. – 2017.
12. Corpus K.R. Mobile User Identification through Authentication Using Keystroke Dynamics and Accelerometer Biometrics / K.R. Corpus, R.J.D.L. Gonzales, A.S. Morada et al. // 2016 IEEE/ACM International Conference on Mobile Software Engineering and Systems (MOBILESoft). – P. 11-12. – 2016.
13. Deore M.R. A survey on offline signature recognition and verification schemes / M.R. Deore, S.M. Handore // Proc. 2015 International Conference on Industrial Instrumentation and Control (ICIC). – P.165-169. – 2015.
14. Lisitsyna L. Estimation of Student Functional State in Learning Management System by Heart Rate Variability Method / L. Lisitsyna, A. Lyamin, A. Skshidlevsky // Frontiers in Artificial Intelligence and Applications. – Vol. 262. – P. 726-731. – 2014.
15. Koelewijn T. The pupil response reveals increased listening effort when it is difficult to focus attention / T. Koelewijn, H. de Kluiver, B.G. Shinn-Cunningham et al. // Hearing Research. – Vol. 323. – P. 81-90. – 2015.
16. Pan J. A Real-Time QRS Detection Algorithm / J. Pan, W.J. Tompkins // IEEE Trans. Biomedical Engineering. – Vol. BME-32. – № 3. – P. 230-236. – 1985.