СОПОСТАВЛЕНИЕ РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ПО РАЗДЕЛУ «ЦЕНТРАЛЬНАЯ НЕРВНАЯ СИСТЕМА» С РЕЗУЛЬТАТАМИ УСТНОГО ОПРОСА

СОПОСТАВЛЕНИЕ РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ПО РАЗДЕЛУ «ЦЕНТРАЛЬНАЯ НЕРВНАЯ СИСТЕМА» С РЕЗУЛЬТАТАМИ УСТНОГО ОПРОСА

Научная статья

Байбаков С.Е.¹, Чигрин С.В.², Бахарева Н.С.³, Федько В.А.⁴, Хромов Д.А.^5, *, Белоножкина А.С.⁶, Бахарева А.А.⁷

^1-7 Кубанский государственный медицинский университет, Краснодар, Россия

* Корреспондирующий автор (partypancakes531[at]gmail.com)

Аннотация

В работе проведено сравнение результатов компьютерного тестирования с использованием короткого теста, составленного из наиболее важных, по мнению автора вопросов, с результатами устного опроса по той же теме. Результаты опроса оказались существенно ниже результатов тестирования, на основании чего был сделан вывод о недостаточной валидности коротких тестов при контроле усвоения больших разделов учебного курса. Тест, включающий задания типа «истина – ложь» и «соответствие», оказался более сложным, так как потребовал больше времени для обдумывания ответов на задания. Выявлена необходимость совершенствования методики проведения опроса, ввиду большого разброса результатов устного опроса. Требуется дальнейшее изучение влияния психофизиологических факторов на экзаменационные результаты.

Ключевые слова: контроль успеваемости, компьютерное тестирование знаний, устный опрос, сравнение результатов.

A COMPARISON OF THE RESULTS OF COMPUTER TESTING IN THE SECTION "CENTRAL NERVOUS SYSTEM" WITH THE RESULTS OF THE ORAL SURVEY

Research article

Baybakov S.E.¹, Chigrin S.V.², Bakhareva N.S.³, Fedko V.A.⁴, Khromov D.A.^5, *, Belonozhkina A.S.⁶, Bakhareva A.A.⁷

^1-7 Kuban State Medical University, Krasnodar, Russia

* Corresponding author (partypancakes531[at]gmail.com)

Abstract

The article compares the results of computer testing using a short test made up of the most important questions, according to the author, with the results of an oral survey on the same topic. The survey results were significantly lower than the test results, on the basis of which it was concluded that the validity of short tests was insufficient when controlling the assimilation of large sections of the course. The test, which includes such tasks as "true-false" and "matching", turned out to be more difficult since it required more time to think about the answers to the tasks. The article identifies the necessity of improving the survey methodology due to the large spread of the results of the oral survey. Further study of the influence of psychophysiological factors on exam results is also required.

Keywords: control of academic performance, computer testing of knowledge, oral survey, comparison of results.

Введение

В настоящее время одним из главных недостатков компьютерного тестирования знаний признается сложность сопоставления его результатов с результатами устного опроса. По мнению ряда авторов, компьютерное тестирование проверяет только механическую память и ничего не говорит о способности применять знания и логически мыслить, выявляемые только при устном опросе, к тому же тесты часто сравниваются с лотереей [1], [2], [14], [17]. Однако, если задания типа «одиночный выбор» действительно проверяют лишь механическую память, к тому же сравнительно легко подвержены угадыванию, то существуют задания более сложных типов, заставляющие студента не только вспомнить, но и еще хоть немного подумать. Наконец, широкое внедрение тестов вместо контроля по экзаменационным билетам становится обоснованным лишь при высокой степени соответствия результатов теста экзаменационным оценкам [8]. В связи с этим целью работы являлась проверка соответствия результатов тестирования результатам устного опроса.

Методы и принципы исследования

Тест разрабатывался в программе MyTestXpro и состоял из 30 заданий, охватывающих ключевые вопросы темы «Центральная нервная система». При его разработке мы исходили из представления об иерархичности знания о структуре сколь угодно сложного объекта [19], а также из предположения, что если студент не знает ответ на некоторый ключевой вопрос верхнего уровня, то он не сможет ответить и на вопросы нижележащих уровней, вытекающие из верхнего. Большинство заданий теста относилось к типам «истина – ложь» и «на соответствие». Для подготовки студенты получали только контрольные вопросы по разделу. На выполнение теста отводилось 45 минут. Тестирующий модуль программы работал в режиме частичного оценивания, т.е. учитывались не только полностью правильные ответы, за которые начислялось по 1 баллу, но и частично правильные, за которые начислялись дробные доли баллов в соответствии с соотношением верно и неверно выбранных вариантов ответа. Результат тестирования выдавался в процентах от максимально возможного числа баллов.

По завершении тестирования студенты опрашивались устно, им задавались по 10 вопросов из разных тем раздела. За ответ на каждый вопрос выставлялась отдельная оценка. Так как оценки «отлично», «хорошо» и т.д. являются качественными, то напрямую использовать их для количественной обработки нельзя. Однако, в соответствии с принципами квалиметрии, каждой градации качественного признака можно приписать некоторое количество баллов, определенное по соглашению экспертов [4], [13]. Нами предложен следующий подход: оценка «неудовлетворительно» – 0 баллов (студент не ответил на вопрос); оценка «Удовлетворительно» – 1 балл (минимально приемлемый ответ); оценка «Хорошо» – 2 балла (средний ответ), и оценка «Отлично» – 3 балла (хороший ответ). В соответствии с этим принципом для результатов опроса каждого студента были вычислены процентные баллы, которые и были введены в базу данных для последующей обработки.

Всего в тестировании приняли участие 157 студентов 2-го курса. Из этого количества выполнили тест вовремя 79 человек, просрочили время – 78 человек. Одновременно удалось опросить 116 человек, остальные по разным причинам от устного опроса отказались, ссылаясь на плохую подготовку либо на удовлетворенность результатами теста. Поскольку распределения результатов существенно отличались от нормального (см. диаграммы 1 и 2), что подтверждается и данными литературы [15], то для оценки различий в результатах использовалось вычисление рангового критерия Данна [3] (критерий Q, непараметрический аналог критерия Стьюдента). Степень соответствия между результатами определялась путем вычисления коэффициента ранговой корреляции Спирмена. Распределение результатов тестирования представлено в таблице 1 и на диаграмме 1, а распределение результатов устного опроса – в таблице 2 и на диаграмме 2.

 

Таблица 1 – Распределение результатов сдачи теста

Процентные группы	Количество студентов
	Общий	Сдали вовремя	Просрочили время
0 – 10	0	0	0
10 – 20	0	0	0
20 – 30	6	0	6
30 – 40	11	4	7
40 – 50	33	15	18
50 – 60	40	20	20
60 – 70	39	23	16
70 – 80	24	14	10
80 – 90	4	3	1
90 – 100	0	0	0
ИТОГО:	157	79	78

 

Таблица 2 – Распределение результатов устного опроса

Процентные группы	Количество студентов
	Общий	Сдали вовремя	Просрочили время
0 – 10	9	3	6
10 – 20	9	4	5
20 – 30	15	8	7
30 – 40	19	12	7
40 – 50	16	7	9
50 – 60	14	5	9
60 – 70	17	5	12
70 – 80	3	2	1
80 – 90	6	3	3
90 – 100	8	3	5
ИТОГО:	116	52	64

 

Рис. 1 – Распределение результатов сдачи теста

Рис. 2 – Распределение результатов устного опроса

 

Из этих таблиц и диаграмм видно, что если распределение результатов тестирования как у студентов, закончивших тест вовремя (группа 1), так и просрочивших время (группа 2), приближается к нормальному с максимумом в интервалах 50 – 60 и 60 – 70%, то распределение результатов устного опроса резко от нормального отличается, образуя двухвершинную кривую с максимумами в интервалах 30 – 40% и 60 – 70%. Причем эти две вершины образуются именно разницей в результатах групп 1 и 2.

Неожиданным оказалось то, что худший результат устного опроса (максимум в области 30 – 40%) был показан студентами группы 1, в то время как максимум для студентов группы 2 оказался в интервале 60 – 70%, хотя эти различия и оказались статистически незначимыми. Можно предположить, что эта разница в результатах обусловлена индивидуальными психофизиологическими данными. Скажем так – есть «люди теста», а есть «люди устного ответа», которые просто некомфортно чувствуют себя за компьютером, причем некомфортно до уровня панического страха [5], [7], [20]. Возможно, что среди просрочивших время оказалось больше студентов, которым комфортнее отвечать устно, да и просто нужно больше времени, чтобы подумать над ответом. Косвенно это подтверждается относительно большим числом студентов в группе 2, чей результат опроса существенно превысил результат теста. Кроме того, независимо от формы контроля знаний, результат часто зависит от обстоятельств, не относящихся к учебному процессу, но влияющих на психофизиологическое состояние студента. Так что результатам, полученным с помощью компьютерного тестирования, следует доверять с некоторыми оговорками [8], [21].

Итоговые результаты тестирования и устного опроса с вычислением достоверности различий между ними приведены в таблице 3. Из таблицы видно, что в среднем результаты тестирования в группе 1 были несколько лучше, чем в группе 2, причем различия между ними оказались статистически значимыми. А результаты устного опроса в обеих группах статистически не различались, причем обращают на себя внимание высокие значения стандартного отклонения (почти в 2 раза больше, чем таковые для результатов тестирования), что указывает на значительный разброс результатов устного опроса. При сравнении результатов внутри каждой из групп оказалось, что в группе 1 средние результаты тестирования оказались существенно выше, чем результаты устного опроса, а вот в группе 2 они почти не различались (хотя расчет и показал статистическую значимость различий, но буквально на пределе чувствительности критерия).

 

Таблица 3 – Средние результаты тестирования и устного опроса

		Группа выполнивших тест (группа 1)	Группа просрочивших время (группа 2)	Критерий Q:	P
Результаты тестирования:	:	59,7%	53,4%	2,51	P < 0,05
	σ:	±12,0%	±14,8%
	m:	± 0,9%	± 1,2%
Результаты устного опроса	:	42,5%	46,0%	0,79	P > 0,05
	σ:	±23,4%	±26,0%
	m:	±2,3%	±2,4%
Критерий Q:		4,99	1,99
Р:		P < 0,01	P <0,05

  По рассмотрении соотношения результатов тестирования и устного опроса у конкретных студентов были построены графики 1 и 2:

Рис. 3 – Индивидуальные соотношения результатов тестирования и устного опроса у студентов, завершивших тест вовремя (группа 1)

Примечание: результаты тестирования ранжированы по возрастанию

Рис. 4 – Индивидуальные соотношения результатов тестирования и устного опроса у студентов, просрочивших время (группа 2)

Примечание: результаты тестирования ранжированы по возрастанию

 

Из графиков видно, что разброс индивидуальных результатов в обеих группах очень велик. Большая часть результатов опроса находится ниже результатов тестирования у тех же студентов. Чтобы выявить более общие тенденции, было выполнено усреднение результатов в каждой процентной группе, т.е. вычислялся средний результат среди того количества студентов, которые в данной процентной группе находились, как для результатов тестирования, так и для устного опроса. Также вычислялось стандартное отклонение результатов в каждой процентной группе (кроме тех групп, в которых число студентов было слишком мало). Результаты представлены в таблице 4:

 

Таблица 4 – Усредненные результаты тестирования и опроса в группах, сдавших вовремя и просрочивших время

Процентные группы	Усредненные результаты:
	Сдавшие вовремя				Просрочившие время
	Тест		Опрос		Тест		опрос
		σ		σ		σ		σ
0 – 10	0	0	0	0	0	0	0	0
10 – 20	0	0	0	0	0	0	0	0
20 – 30	0	0	0	0	24,7	± 1,4	34,4	± 23,7
30 – 40	38,9	0	3,3	0	35,1	± 4,7	17,7	± 10,2
40 – 50	47,1	± 3,4	32,2	± 16,1	44,6	± 3,0	31,8	± 23,0
50 – 60	55,25	± 3,6	30	± 15,1	56,2	± 2,8	48,7	± 20,9
60 – 70	65,1	± 3,0	37,7	± 20,8	64,6	± 3,1	59,5	± 24,1
70 – 80	73,8	± 1,7	58,9	± 17,9	73,9	± 1,9	62	± 26,2
80 – 90	81,9	± 2,8	84,4	± 7,7	84,6	0	13,3	0
90 – 100	0	0	0	0	0	0	0	0

Примечание: даны среднее значение и стандартное отклонение  

Из таблицы 4 видно, что усредненные результаты тестирования в обеих группах практически не различаются и непрерывно возрастают, при этом величины стандартных отклонений весьма малы по сравнению со средней величиной, что указывает на достаточную стабильность результатов тестирования. Что же касается усредненных результатов устного опроса для тех же студентов, то они, как правило, существенно ниже результатов тестирования, а значения стандартных отклонений превосходят таковые для тестов в 3 – 5, а иногда и почти в 10 раз! Наглядное изображение представленных соотношений представлено на графиках 3 и 4. Из графика 3 видно, что результаты опроса в группе 1 постепенно «догоняют» результаты тестирования и в группе наивысших результатов практически сравниваются. График 4, напротив, свидетельствует о том, что в группе самых низких значений результаты опроса выше результатов теста, затем они уходят «вниз», но также догоняют результаты теста до группы 60 – 70%, а затем происходит резкий обвал. Вычисление коэффициентов корреляции между результатами тестирования и опроса для представленных соотношений показало, что в группе закончивших тест между этими показателями все же имеется слабоположительная корреляция (r = 0,59; t = 5,48), а для группы студентов, просрочивших время, такой связи практически нет (r = 0,47; t = 4,16).

Рис. 5 – Распределения усредненных результатов тестирования и устного опроса в группе, выполнивших тест вовремя

Примечание: результаты тестирования ранжированы по возрастанию

Рис. 6 – Распределение усредненных результатов тестирования и устного опроса в группе, просрочивших время

Примечание: результаты тестирования ранжированы по возрастанию

 

Наконец, была поставлена задача выяснить, какое число студентов показало результат опроса существенно выше, чем результат теста, и наоборот. Для этого был определен приблизительный доверительный интервал для усредненных результатов тестирования, рассчитанный по формуле доверительных интервалов для малых выборок ([3], стр. 218 – 219). Он оказался равным ±10%. Таким образом, все результаты опроса, отличающиеся от средних результатов тестирования на величину данного доверительного интервала, можно признать статистически значимыми. Количество студентов, показавших такие результаты, представлено в таблице 5:

 

Таблица 5 – Соотношение полученных результатов

	Число студентов:
	Группа выполнивших тест	Группа просрочивших время
Результат опроса существенно выше теста	3	11
Результат опроса существенно ниже теста	38	30

 

Данные, приведенные в таблице, подтверждают предыдущие данные о том, что устный опрос показал в целом значительно худшие результаты. По нашему мнению, это можно объяснить низкой валидностью теста, представленного в таком виде, из относительно небольшого числа основных вопросов раздела. Хотя в целом тест оказался сложным и, видимо, потребовал размышлений – не уложилась в достаточно продолжительное время половина отвечающих (тесты, составленные из заданий одиночного и множественного выбора, выполняются гораздо быстрее, в среднем одно задание за 30 – 40 секунд). Также следует отметить и более высокую стабильность результатов тестирования, выразившуюся в относительно небольших значениях стандартного отклонения. По данным литературы, для объективной профессиональной аттестации с высокой степенью точности и надежности требуется тест длиной более двухсот заданий [16]. Скорее всего, вопросы, задаваемые устно, чаще попадали в плохо подготовленные студентами области отдельных тем. Хотя не исключено, что если бы студентам задавались те же вопросы, что и при тестировании, либо времени на выполнение теста было предоставлено больше, то результат мог быть и иным. Возможно также, что результаты тестирования и устного опроса несопоставимы в принципе, так как выявляют действительно разные аспекты подготовленности. Некоторые данные литературы это подтверждают [6], [11], [18], другие, наоборот, опровергают, указывая на высокую корреляцию между текущей успеваемостью и ответами во время тестирования [9]. Нельзя также исключать влияние на ответы студентов их психофизиологических особенностей. Все это требует проведения дальнейших исследований.

Заключение

1. Короткие тесты, по всей видимости, не обладают достаточной валидностью для проверки знания больших разделов учебного курса;
2. Тест, составленный из заданий типа «истина – ложь» и «соответствие», оказался более сложным, так как потребовал больше времени для обдумывания ответов на задания;
3. Большой разброс результатов устного опроса указывает на необходимость совершенствования методики проведения опроса;
4. Требуется дальнейшее изучение влияния психофизиологических факторов на экзаменационные результаты.

Конфликт интересов Не указан.

Conflict of Interest None declared.

Список литературы / References

1. Андриенко А. В. Компьютерное тестирование как механизм оценки качества образования / А. В. Андриенко // Тестирование в сфере образования: проблемы и перспективы развития: материалы II Всероссийской научно-практической конференции 19 – 20 мая 2009 г. Красноярск: СибГТУ. – 2009. – C. 267 – 277.
2. Безруков А.И. Статистический анализ результатов компьютерного тестирования / А.И. Безруков, Н. А. Гулевич, Е. Г. Пчелинцева // Вестник Саратовского государственного технического университета. – 2020. – № 1 (84). – С. 6 – 13.
3. Гланц С. Медико-биологическая статистика / С. Гланц. М., Практика, 1998, 459 с.
4. Граничина О. А. Использование современных квалиметрических методов при оценивании качества образования в вузе / О. А. Граничина // Известия Российского государственного педагогического университета им. А.И. Герцена. – 2008. – № 75.
5. Джебраилова Т. Д. Физиологическое обеспечение целенаправленной деятельности студентов во время компьютерного тестирования уровня знаний / Т. Д. Джебраилова, Р. Г. Сулейманова, Л. И. Иванова // Вестник новых медицинских технологий. – 2013. – Том 20. – № 1. – С. 38 – 42.
6. Зубец В. В. Изучение валидности компьютерного тестирования приобретенных навыков / В. В. Зубец // Вестник российских университетов. Математика. – 2002. – Том 7. – № 1. – С. 77 – 78.
7. Иванов С. В. Психология образования и компьютерные тесты Санкт-Петербургской академии постдипломного образования / С. В. Иванов // Известия Российского государственного педагогического университета им. А.И. Герцена. – 2008. – № 58. – C. 393 – 396.
8. Кударов Р.С. Анализ достоверности тестовой формы контроля знаний / Р.С. Кударов, Ю. Сутугинене // Информационно-управляющие системы. – 2016. - № 1 (80). – С. 102 –109.
9. Минцер О. П. Проблемы информатизации медицинского образования / О. П. Минцер // Клиническая информатика и телемедицина. – 2005. – Том 2. – № 1. – C. 79 – 85.
10. Михеев С.А. Проблема интеграции компьютерного тестирования и традиционных форм педагогического контроля / С.А. Михеев // Высшее образование сегодня. – 2014. – № 5. – С. 66 – 69.
11. Петушок Н. Э. Применение компьютерного тестирования для оценки учебных достижений студентов по биологической химии в учреждениях высшего медицинского образования / Н. Э. Петушок, И. О. Леднева, В. В. Лелевич и др. // Журнал Гродненского государственного медицинского университета.– 2018. – Том 16. – № 2. – C. 232 – 236.
12. Прахова М. Ю. О месте тестирования как инструмента оценки знаний в вузе / М. Ю. Прахова, Г. Ю. Коловертнов, Э. А. Шаловников // Высшее образование в России. – 2012. – № 7. – C. 113 – 116.
13. Савцева В. В. Философские аспекты квалиметрической методологии / В. В. Савцева // Научный вестник Московского государственного технического университета гражданской авиации. – 2014. – № 203. – С. 144 – 146.
14. Семинский И. Ж. Особенности использования тестирования для оценки качества знаний студентов в медицинском вузе / И. Ж Семинский, Л. О. Гуцол, Е. В. Гузовская и др. // Сибирский медицинский журнал. – 2010. – № 7. – C. 42 – 44.
15. Соколова И. И. Компьютерное тестирование как наукоемкая педагогическая технология / И. И. Соколова // Известия Российского государственного педагогического университета. – 2004. – Том 4. – № 9. – C. 77 – 86.
16. Телешев В. А. Оптимизация системного подхода в преподавании с помощью компьютерного тестирования / В. А. Телешев, А. В. Резайкин, Ф. А. Бляхман // Высшее образование в России. – 2012. – № 8 – 9. – C. 146 – 148.
17. Тетенев Ф. Ф. Возможности повышения качества знаний и их оценки в процессе изучения клинической медицины / Ф. Ф. Тетенев, Т. Н. Бодрова, Т. С. Агеева и др. // Клиническая медицина. – 2014. – № 11. – C. 75 – 78.
18. Трифонов А. Ю. Сравнительный статистический анализ оценки математических знаний студентов первого курса / А. Ю. Трифонов, А. А. Михальчук // Известия Томского политехнического университета. – 2005. – Том 308. – № 5. – C. 212 – 216.
19. Чигрин С. В. Об объективности оценивания знаний студентов / С. В. Чигрин // Сборник трудов региональной межвузовской учебно-методической конференции с международным участием «Естественнонаучное образование: стратегия, проблемы, достижения». Краснодар, 2019. – С. 322 – 324.
20. Шмелев А. Г. Компьютерная тревожность как фактор успешности прохождения студентами компьютерного экзаменационного тестирования / А. Г. Шмелев, Д. Б. Резапова // Психологические исследования. – 2013. – Том 6. – № 29. – С. 10. (19).
21. Янюшкин С. А. Недостатки и ошибки компьютерного тестирования в вузах (на примере дисциплины «Правоведение») / С. А. Янюшкин, А. С. Янюшкин // Современные проблемы науки и образования. – 2008. – № 5. – C. 45 – 51 (20).

Список литературы на английском языке / References in English

1. Andrienko A. V. Komp'juternoe testirovanie kak mehanizm ocenki kachestva obrazovanija [Computer Testing as a Mechanism for Assessing the Quality of Education] / A. V. Andrienko // Testirovanie v sfere obrazovanija: problemy i perspektivy razvitija: materialy II Vserossijskoj nauchno-prakticheskoj konferencii 19 – 20 maja 2009 g. [Testing in the Field of Education: Problems and Prospects of Development: Materials of the II All-Russian Scientific and Practical Conference May 19-20, 2009] Krasnojarsk: SibGTU. – 2009. – pp. 267 – 277. [in Russian]
2. Bezrukov A.I. Statisticheskij analiz rezul'tatov komp'juternogo testirovanija [Statistical Analysis of the Results of Computer Testing] / A.I. Bezrukov, N. A. Gulevich, E. G. Pchelinceva // Vestnik Saratovskogo gosudarstvennogo tehnicheskogo universiteta [Bulletin of the Saratov State Technical University]. – 2020. – № 1 (84). – pp. 6 – 13. [in Russian]
3. Glanc S. Mediko-biologicheskaja statistika [Biomedical Statistics] / S. Glanc. M., Praktika, 1998, p. 459 [in Russian]
4. Granichina O. A. Ispol'zovanie sovremennyh kvalimetricheskih metodov pri ocenivanii kachestva obrazovanija v vuze [The Use of Modern Qualimetric Methods in Assessing the Quality of Education at the University] / O. A. Granichina // Izvestija Rossijskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gercena [Bulletin of the Herzen State Pedagogical University]. – 2008. – № 75. [in Russian]
5. Dzhebrailova T. D. Fiziologicheskoe obespechenie celenapravlennoj dejatel'nosti studentov vo vremja komp'juternogo testirovanija urovnja znanij [Physiological Support of Purposeful Activity of Students During Computer Testing of the Level of Knowledge] / T. D. Dzhebrailova, R. G. Sulejmanova, L. I. Ivanova et al. // Vestnik novyh medicinskih tehnologij [Bulletin of New Medical Technologies]. – 2013. – Vol. 20. – № 1. – pp. 38 – 42. [in Russian]
6. Zubec V. V. Izuchenie validnosti komp'juternogo testirovanija priobretennyh navykov [The Study of the Validity of Computer Testing of Acquired Skills] / V. V. Zubec // Vestnik rossijskih universitetov. Matematika. – 2002. – Vol. 7. – № 1. – pp. 77 – 78. [in Russian]
7. Ivanov S. V. Psihologija obrazovanija i komp'juternye testy Sankt-Peterburgskoj akademii postdiplomnogo obrazovanija [Psychology of Education and Computer Tests of the St. Petersburg Academy of Postgraduate Education] / V. Ivanov // Izvestija Rossijskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gercena [Bulletin of the Herzen State Pedagogical University]. – 2008. – № 58. – pp. 393 – 396. [in Russian]
8. Kudarov R.S. Analiz dostovernosti testovoj formy kontrolja znanij [Analysis of the Reliability of the Test Form of Knowledge Control] / R.S. Kudarov, Ju. Sutuginene // Informacionno-upravljajushhie sistemy [Information and Control Systems]. – 2016. - № 1 (80). – pp. 102 –109. [in Russian]
9. Mincer O. P. Problemy informatizacii medicinskogo obrazovanija [Problems of Informatization of Medical Education] / O. P. Mincer // Klinicheskaja informatika i telemedicina [Clinical Informatics and Telemedicine]. – 2005. – Vol. 2. – № 1. – pp. 79 – 85. [in Russian]
10. Miheev S.A. Problema integracii komp'juternogo testirovanija i tradicionnyh form pedagogicheskogo kontrolja [The Problem of Integration of Computer Testing and Traditional Forms of Pedagogical Control] / S.A. Miheev // Vysshee obrazovanie segodnja [Higher Education Today]. – 2014. – № 5. – pp. 66 – 69. [in Russian]
11. Petushok N. Je. Primenenie komp'juternogo testirovanija dlja ocenki uchebnyh dostizhenij studentov po biologicheskoj himii v uchrezhdenijah vysshego medicinskogo obrazovanija [Application of Computer Testing to Assess Students’ Academic Achievements in Biological Chemistry in Institutions of Higher Medical Education] / N. Je. Petushok, I. O. Ledneva, V. V. Lelevich et al. // Zhurnal Grodnenskogo gosudarstvennogo medicinskogo universiteta [Journal of Grodno State Medical University]. – 2018. – Vol. 16. – № 2. – pp. 232 – 236. [in Russian]
12. Prahova M. Ju. O meste testirovanija kak instrumenta ocenki znanij v vuze [About the Place of Testing as a Tool for Assessing Knowledge in a University] / M. Ju. Prahova, G. Ju. Kolovertnov, Je. A. Shalovnikov // Vysshee obrazovanie v Rossii [Higher Education in Russia]. – 2012. – № 7. – pp. 113 – 116. [in Russian]
13. Savceva V. V. Filosofskie aspekty kvalimetricheskoj metodologii [Philosophical Aspects of Qualimetric Methodology] / V. V. Savceva // Nauchnyj vestnik Moskovskogo gosudarstvennogo tehnicheskogo universiteta grazhdanskoj aviacii [Scientific Bulletin of the Moscow State Technical University of Civil Aviation]. – 2014. – № 203. – pp. 144 – 146. [in Russian]
14. Seminskij I. Zh. Osobennosti ispol'zovanija testirovanija dlja ocenki kachestva znanij studentov v medicinskom vuze [Features of Using Testing to Assess the Quality of Students’ Knowledge in a Medical University] / I. Zh. Seminskij, O. Gucol, E. V. Guzovskaja // Sibirskij medicinskij zhurnal [Siberian Medical Journal]. – 2010. – № 7. – pp. 42 – 44. [in Russian]
15. Sokolova I. I. Komp'juternoe testirovanie kak naukoemkaja pedagogicheskaja tehnologija [Computer Testing as a High-Tech Pedagogical Technology] / I. I. Sokolova // Izvestija Rossijskogo gosudarstvennogo pedagogicheskogo universiteta [Bulletin of the Russian State Pedagogical University]. – 2004. – Vol. 4. – № 9. – pp. 77 – 86. [in Russian]
16. Teleshev V. A. Optimizacija sistemnogo podhoda v prepodavanii s pomoshh'ju komp'juternogo testirovanija [Optimization of the System Approach in Teaching Using Computer Testing] / V. A. Teleshev, A. V. Rezajkin, F. A. Bljahman // Vysshee obrazovanie v Rossii [Higher Education in Russia]. – 2012. – № 8 – 9. – pp. 146 – 148. [in Russian]
17. Tetenev F. F. Vozmozhnosti povyshenija kachestva znanij i ih ocenki v processe izuchenija klinicheskoj mediciny [Possibilities of Improving the Quality of Knowledge and Their Evaluation in the Process of Studying Clinical Medicine] / F. Tetenev, T. N. Bodrova, T. S. Ageeva // Klinicheskaja medicina [Clinical Medicine]. – 2014. – № 11. – pp. 75 – 78. [in Russian]
18. Trifonov A. Ju. Sravnitel'nyj statisticheskij analiz ocenki matematicheskih znanij studentov pervogo kursa [Comparative Statistical Analysis of the Assessment of Mathematical Knowledge of First-Year Students] / A. Ju. Trifonov, A. A. Mihal'chuk // Izvestija Tomskogo politehnicheskogo universiteta [Bulletin of Tomsk Polytechnic University]. – 2005. – Vol. 308. – № 5. – pp. 212 – 216. [in Russian]
19. Chigrin S. V. Ob ob'ektivnosti ocenivanija znanij studentov [On the Objectivity of Assessing Students’ Knowledge] // Sbornik trudov regional'noj mezhvuzovskoj uchebno-metodicheskoj konferencii s mezhdunarodnym uchastiem «Estestvennonauchnoe obrazovanie: strategija, problemy, dostizhenija» [Proceedings of the Regional Interuniversity Educational and Methodological Conference With International Participation “Natural Science Education: Strategy, Problems, Achievements”]. Krasnodar, 2019. – pp. 322 – 324. [in Russian]
20. Shmelev A. G. Komp'juternaja trevozhnost' kak faktor uspeshnosti prohozhdenija studentami komp'juternogo jekzamenacionnogo testirovanija [Computer Anxiety as a Factor of Success of Students Passing Computer Examination Testing] / A. G. Shmelev, D. B. Rezapova // Psihologicheskie issledovanija [Psychological Research]. – 2013. – Vol. 6. – № 29. – p. 10. (19). [in Russian]
21. Janjushkin S. A. Nedostatki i oshibki komp'juternogo testirovanija v vuzah (na primere discipliny «Pravovedenie») [Disadvantages and Errors of Computer Testing in Universities (On the Example of the Discipline “Jurisprudence”)] / A. Janjushkin, A. S. Janjushkin // Sovremennye problemy nauki i obrazovanija [Modern Problems of Science and Education]. – 2008. – № 5. – p. 45 – 51 (20). [in Russian]