INFORMATION EDUCATIONAL ENVIRONMENT FOR THE FORMATION OF FUNCTIONAL LITERACY AND THE EVALUATION OF ITS DEVELOPMENT LEVEL

ИНФОРМАЦИОННО-ОБРАЗОВАТЕЛЬНАЯ СРЕДА ПО ФОРМИРОВАНИЮ И ОЦЕНКЕ РАЗВИТИЯ ФУНКЦИОНАЛЬНОЙ ГРАМОТНОСТИ

Научная статья

Афанасьева С.Г.^1, *, Ерофеева О.Ю.², Панарина Л.Ю.³

^{1, 2, 3} Самарский областной институт повышения квалификации и переподготовки работников образования, Самара, Россия

* Корреспондирующий автор (asg36[at]list.ru)

Аннотация

В статье рассматриваются организационные механизмы повышения качества образования, направленные на формирование функциональной грамотности. В центре внимания авторов находятся структура и содержание информационно-образовательной среды СИПКРО, обеспечивающей организационное, научно-методологическое, научно-исследовательское, экспериментально-аналитическое сопровождение. Актуальность темы обосновывается тем, что формирование и оценка развития функциональной грамотности необходимы не только для оценки качества образования, но и для перехода образовательной организации из режима функционирования в режим инновационного развития.

Авторы анализируют выборочные результаты апробации разработанных заданий, на их основе делают выводы о способах их использования в школьном образовании в целом. В статье подчеркивается необходимость изучения проблемы формирования и оценивания математической и читательской грамотности как компонента функциональной грамотности в рамках мониторинга функциональной грамотности в России.

Ключевые слова: информационно-образовательная среда, функциональная грамотность, оценка качества образования, курс внеурочной деятельности.

INFORMATION EDUCATIONAL ENVIRONMENT FOR THE FORMATION OF FUNCTIONAL LITERACY AND THE EVALUATION OF ITS DEVELOPMENT LEVEL 

Research article

Afanasieva S.G.^1, *, Erofeeva O.Yu.², Panarina L.Yu.³

^{1, 2, 3} Samara Regional Institute of Training and Retraining of Educators (SRITRE), Samara, Russia

* Corresponding author (asg36[at]list.ru)

Abstract

The article considers organisational mechanisms necessary for the improvement of the quality of education aimed at the formation of functional literacy. The authors focus on the structure and the content of the SRITRE information educational environment, providing organisational, scientific, methodological, research, experimental and analytical support. The topicality of the issue is justified by the fact that the formation and assessment of the functional literacy development are necessary not just to evaluate the quality of education, but also to switch an educational organisation from functioning mode to innovative development mode.

The authors analyse the sample results of testing the developed tasks, and on this basis, conclude their application for the entire school education. The article emphasises the need to study the problem of forming and evaluating quantitative and readers' literacy as a component of functional literacy in the framework of functional literacy monitoring in Russia.

Keywords: information educational environment, functional literacy, evaluating the quality of education, extracurricular activities course.

Введение

В целях обеспечения глобальной конкурентоспособности российского образования и вхождения Российской Федерации в число ведущих стран мира по качеству образования необходимо привести педагогическую практику в соответствие с требованиями Федерального государственного стандарта общего образования и международных стандартов, то есть к образовательным результатам, заданным в международных документах Организации экономического сотрудничества и развития (ОЕСД) [1].

В современном обществе сегодня большая ответственность ложится на российскую школу, которая закладывает основы функциональной грамотности обучающегося и формирует его учебную мотивацию. Функциональная грамотность - это способность человека вступать в отношения с внешней средой и максимально быстро адаптироваться и функционировать в ней. Современные школы предоставляют своим учащимся различные образовательные возможности. Чтобы контролировать, прогнозировать и управлять качеством образования, необходимо проводить мониторинг не только качества знаний, но и качественные исследования по выявлению функциональной грамотности [2].

Исследование международной оценки качества образования сводится к умению использовать знания для решения проблем, приближенных к жизненной ситуации, показали связь между знаниями и умением применить эти знания на практике, соответственно выявили проблему качества образования. Измерение качества образования – это совокупность действий, выполняемых в ходе осуществления контроля качества образовательного процесса. Контроль качества образования – это процесс планирования, организации и проведения квалиметрических процедур для последующего анализа, а результаты контроля – это основа последующих циклов принятия решений. Чтобы управлять качеством образования, необходимо проводить мониторинг в течение нескольких лет в одних и тех же группах с одним и тем же заданием [9].

Компонентами функциональной грамотности являются:

• знания сведений, правил, принципов; усвоение общих понятий и умений, составляющих познавательную основу решения практико-ориентированных задач в различных сферах жизнедеятельности;
• умения адаптироваться к изменяющемуся миру; решать конфликты, работать с информацией; вести деловую переписку; применять правила личной безопасности в жизни;
• готовность ориентироваться в ценностях и нормах современного мира; принимать особенности жизни для удовлетворения своих жизненных запросов; повышать уровень образования на основе осознанного выбора [6].

В Самарском областном институте повышения квалификации и переподготовки работников образования (СИПКРО) разработана информационно-образовательная среда (ИОС), которая включает определенные условия для формирования и оценки развития функциональной грамотности в Самарской области. Перечислим их.

1. Определены научно-методологические основы формирования и развития функциональной грамотности, системы управления школой в парадигме компетентностного образования;
2. Обеспечено научно-исследовательское, экспериментально-аналитическое сопровождение мероприятий, направленных на формирования и развития функциональной грамотности.
3. Разработан региональный мониторинг степени сформированности читательской и математической грамотности обучающихся 7-х, 8-х классов Самарской области.
4. По результатам мониторинговых исследований разработаны рекомендации для педагогов, руководителей образовательных учреждений, территориальных председателей УМО Самарской области.
5. Обеспечена диагностика жизненных ориентаций учащихся, роли родителей в формировании и развитии функциональной грамотности.

При разработке программы курса внеурочной деятельности по формированию функциональной грамотности использовались организационный и концептуальный подходы. Организационный подход включает в себя следующее:

• создание рабочей группы профессорско-преподавательского состава ведущих кафедр;
• определение концептуальных подходов к проектированию программы; разработка содержания модулей.

На основе концептуального подхода определен вид деятельности (внеурочный), количество часов (два часа по учебному плану), сроки реализации программы (основная школа), направленность (общеинтеллектуальная) и модульная структура.

На научно–методическом уровне информационно-образовательная среда СИПКРО оказывает методическую помощь педагогам при подготовке и проведении учебных занятий, направленных на развитие функциональной грамотности обучающихся основной школы [4]. Методическое пособие предназначено учителям образовательных учреждений Самарского региона, реализующим программу «Развитие функциональной грамотности обучающихся основной школы»; всем педагогам, заинтересованным в повышении качества современного образования. В пособии рассматриваются возможные пути конструирования дидактического и методического сопровождения развития функциональной грамотности обучающихся основной школы, раскрывается характеристика всех компонентов функциональной грамотности, описывается методика проведения учебных занятий. Для эффективного формирования функциональной грамотности применимы коммуникативные, творческие и игровые методы, дискуссии, дебаты, проекты, упражнения и игровые задания [5]. Особое внимание уделяется дидактическому и методическому инструментарию организации познавательной деятельности обучающихся, который обеспечивает развитие читательской, математической, естественнонаучной и финансовой грамотности современных учащихся [7].

Наиболее важным фактором успешности российских школьников является внедрение системы учебных заданий, для выполнения которых необходимо владение ключевыми компетентностями. При этом под компетентностью понимают способность человека результативно действовать в нестандартных ситуациях [2].

Изучение функциональной грамотности необходимо не только для оценки качества образования, но и для перехода образовательного учреждения из режима функционирования в режим инновационного развития при условии получения оперативной и достоверной информации, для предоставления информации субъектам образования, для управления качеством образования [9].

Отбор содержания и разработка измерительного материала основаны на системном подходе и анализе формирования функциональной грамотности учащихся основной школы общеобразовательных учреждений Самарской области.

Результаты по формированию функциональной грамотности зависят от целого ряда факторов:

1. Социально-географический фактор включает место расположения школы: город с численностью населения свыше двести тысяч человек, город с численностью населения менее двести тысяч человек, посёлок городского типа, посёлок, село.
2. Организационный фактор определяет позиционирование образовательной организации как лицея, гимназии, образовательного центра, школы.
3. Ресурсный фактор включает кадровое обеспечение (образование, стаж работы, квалификация по образованию, повышение квалификации учителей); учебно-методическое обеспечение (используемые учебно-методического комплекса, особенности рабочей программы, образовательные технологии); информационное обеспечение; материально-техническое обеспечение учебного процесса; объем и организация внеурочной деятельности по формированию функциональной грамотности

В региональном мониторинге по формированию функциональной грамотности приняли участие учащиеся седьмых классов образовательных учреждений Самарской области. Проведение тестирования в целом соответствовало международным стандартам сбора данных [2], а именно: одинаковые условия для всех участников, ограничение времени тестирования, наличие качественного инструмента тестирования, чёткая инструкция для участников, статистический анализ результатов. Это даёт основание для распространения выводов по результатам, продемонстрированным участниками контрольной группы, на всю генеральную выборку. В контрольную группу вошли 1200 (одна тысяча двести) учащихся, результаты которых были распределены по отношению к восьми кластерам. По результатам выполнения мониторингового исследования учащихся оценивалась сформированность следующих компетенций, которые соотнесены с уровнями функциональной грамотности:

Группа 1 (вычитывание – читательская грамотность, узнавания и понимания – математическая грамотность) – 1 уровень функциональной грамотности: умение извлекать (вычитывать) информацию из текста и делать простые умозаключения (несложные выводы) о том, о чём говорится в тексте; обобщать информацию текста. С точки зрения математического содержания на первом уровне учащиеся находили и извлекали информацию различного предметного содержания из текстов, схем, рисунков, таблиц, диаграмм, представленных на электронных носителях. Информация была представлена в различном контексте: личном, профессиональном, общественном, научном.

Группа 2 (интерпретация – читательская грамотность, понимания и применения – математическая грамотность) – 2 уровень функциональной грамотности: умение анализировать, интегрировать и интерпретировать сообщения текста, формулировать на их основе более сложные выводы; находить в текстах скрытую информацию и предъявлять её в адекватной форме; соотносить изображение и вербальный текст. С точки зрения математического содержания, на втором уровне учащиеся применяют математические знания о явлениях для решения разного рода проблем, практических ситуаций.

На данном уровне учащиеся способны применять знания о масштабе, совершать реальные расчеты с извлечением данных из таблиц и несплошного текста, определять зависимости геометрических фигур, находить площади геометрических фигур. Особенно ценно, что на данном уровне учащиеся переводят текстовые задания с языка контекста на язык математики. Процесс моделирования данных заданий включает: понимание, структурирование, моделирование, вычисления, применение математических знаний.

Группа 3 (оценка – читательская грамотность, анализа и синтеза – математическая грамотность) – 3 уровень функциональной грамотности. На данном уровне необходимо анализировать и обобщать (интегрировать) информацию различного предметного содержания в разном контексте, основными являлись умениями размышлять о сообщениях текста и оценивать содержание, форму, структурные и языковые особенности текста; оценивать полноту и достоверность информации, формулировать математическую проблему на основе анализа ситуации.

Группа 4 (применение – читательская грамотность, оценивание (рефлексия) в рамках математического содержания – математическая грамотность) – 4 уровень функциональной грамотности. Учащийся может применить полученную в результате чтения информацию для объяснения новой ситуации, для решения практической задачи без привлечения или с привлечением фоновых знаний; формулировать на основе текста собственную гипотезу; выявлять связь между прочитанным и современным миром. Для успешного прохождения данного уровня учащийся должен уметь интерпретировать и оценить математические данные в контексте лично значимой ситуации.

Средние результаты выполнения заданий мониторинга семиклассниками с учётом уровневой дифференциации и видов деятельности представлены на рисунке 1.

 

Рис. 1 – Успешность выполнения заданий мониторинга семиклассниками

 

Проводя параллель с международной шкалой уровней математической грамотности, можно сказать, что 72,3 % учащихся седьмых классов продемонстрировали готовность адекватно применять математические знания и умения.

Не достигли первого уровня 21,96 % учащихся. Это означает, что учащиеся не справились с практическими проблемными ситуациями, разрешаемыми средствами математики. В заданиях были представлены ситуации, характерные для повседневной учебной и внеучебной жизни учащихся. Это означает, что каждый пятый учащийся не готов решать проблему: от понимания, включая формулирование проблемы на языке математики, через поиск и осуществление её решения, до интерпретации и оценки результата.

4,33 % учащихся обладают высоким уровнем функциональной грамотности. Они могут осмыслить, обобщить и использовать информацию, полученную ими из разных источников и представленную в различной форме, на основе исследования ситуаций и их моделирования, готовы к самостоятельному обучению с помощью текстов.

Анализ результатов регионального мониторинга показывает, что учащиеся седьмых классов успешнее могут «извлекать» информацию из текста, диаграмм, таблиц, схем, чеков, «применять» математику для решения поставленной проблемы. Однако гораздо труднее они справляются с «интерпретацией» и «оценкой» проблемы на языке математики.

Задачей данного мониторинга не являлось изучение социально-экономического и школьного окружения участников. Но на мониторинг могли оказать влияние следующие факты:

• полиэтнический состав участников;
• организационные особенности проведения мониторинга, включая объём выборки конкретного образовательного учреждения, количество сессий мониторинга, время проведения, скорость сети Интернет, направляющая помощь учителя.

В ходе семинаров по итогам регионального мониторинга выявлена высокая корреляция доли педагогов, не прошедших обучение. В результате проверки работ семиклассников определена доля учащихся, демонстрирующих низкий уровень сформированности функциональной грамотности. Одной из ключевых компетенций современного педагога в области образования является понимание новых подходов к оценке результатов, в том числе метапредметных, и грамотное их использование. Результаты ряда мониторинговых исследований качества общего среднего образования указывают на комплексный характер проблемы, связанной с формированием читательской грамотности в учреждениях общего образования. Формирование читательской грамотности – это зона ответственности всех педагогических работников, усилия учителей всех предметных областей, а не только филологов, библиотекарей и родителей.

Исходя из степени овладения читательскими и математическими умениями, разработаны рекомендации заместителям руководителей общеобразовательных организаций и руководителям территориальных предметных методических объединений, педагогам, которые можно использовать для формирования каждого уровня функциональной грамотности в зависимости от результатов.

По результатам регионального мониторинга были организованы обучающие семинары педагогов и руководителей образовательных организаций, выявлены основные трудности педагога:

• недостаточный набор средств, инструментов для организации занятий, трудности в определении эффективных форм работ с учащимися для формирования функциональной грамотности;
• отсутствие контрольно-измерительного материала для проведения рубежного, промежуточного и итогового контроля;
• отсутствие критериальных подходов к формированию оценочной деятельности;
• затруднения в поиске дополнительных источников для постановки учебных задач;
• недостаточная компетентность педагогов в самостоятельном отборе дидактических материалов для формирования функциональной грамотности (учитель не всегда может определить вид текста, контекста, уровень сложности текста);
• отсутствие мотивации на освоение содержания курса.

Задача формирования функциональной грамотности и достижения образовательных результатов ФГОС предъявляет определенные требования к содержанию учебной деятельности на уроке и компетентностям педагога. Основными требованиями к компетентностям учителя являются [10]:

• использование заданий по развитию функциональной грамотности в учебном процессе, умение самостоятельно разрабатывать данные задания;
• готовность использовать продуктивную деятельность на уроках, т.е. получить опыт исследовательской деятельности, построения моделей, проведения анализа данных, проектирования, ведения дискуссии.

С целью обеспечения соответствия системы повышения квалификации требованиям стандартов и рекомендаций гарантии качества образования в европейском регионе (ЕNQA) при разработке программ повышения квалификации в СИПКРО учитывается сетевой принцип и постоянный мониторинг его проведения. Информационно-образовательная среда СИПКРО соответствует современным стандартам образования, обеспечивает возможность работы педагогам из отдаленных регионов Самарской области. Competency-based education (CBE) – педагогический процесс, реализуемый на основе компетентностного подхода – стал поддерживаться в системе Moodle 3.1 на достаточно глубоком уровне. Функционирование информационно-образовательной среды обеспечивается соответствующими средствами информационно-коммуникационных технологий и квалификацией работников, её использующих иподдерживающих [5].

Информационно-образовательная среда предполагает организацию online консультирования педагогов по вопросам формирования и оценке развития функциональной грамотности, выявление качества и уровня знаний, практических умений и профессиональных компетенций. В контексте требований стандарта качества фиксация хода образовательного процесса, результатов промежуточной аттестации и результатов освоения программы повышения квалификации является необходимым элементом информационно-образовательной среды. Сформирован банк тестовых заданий по отдельным модулям, что позволяет в процессе тестирования обеспечить достаточно качественную выборку для слушателей. В информационно-образовательной среде данный вид работы отражается с помощью инструмента «Задание». Кроме непосредственной оценки за работу, преподаватель может установить уровень форсированности отдельных показателей каждого модуля

Изучая теоретические материалы, проходя промежуточные и итоговые тестирования, выполняя практические задания, педагог формируют свою электронную балльно-рейтинговую карту по отдельным модулям. Данная карта доступна в реальном времени как обучающемуся, так и преподавателю. По информации, содержащейся в балльно-рейтинговой карте, можно сделать выводы об эффективности процесса обучения как отдельного обучаемого, так и группы в целом. Кроме этого, система позволяет сгенерировать итоговую таблицу результатов курсов по сформированности профессиональных компетенций педагога.

Информационно-образовательная среда дает возможность: формировать необходимую статистическую отчётность, включающую прогнозирование наиболее востребованных модулей; создавать инструменты оценки эффективности работы педагога, базирующие на известных восьми принципах качества TQM. Применение в дополнительном образовании информационно-образовательной среды позволит сблизить позицию школы и повысить качество образования по формированию и оценке развития функциональной грамотности в Самарской области.

Заключение

Изменение современной парадигм образования под влиянием социальных факторов, тенденций развития общества определили необходимость изучения вопроса формирования функциональной грамотности учащихся в Самарской области как важный компонент качества образования в современном обществе. Формирование функциональной грамотности - сложный, многосторонний, длительный процесс.

Концепция обновления современной школы определила новые приоритеты общего образования, которые предполагают, что формирование модели учебного процесса должно осуществляться на основе развития взаимоотношений сотрудничества учителя и ученика, гармоничного сочетания различных методов обучения, обеспечивающих использование видов деятельности, направленных на формирование функциональной грамотности. Разработанная информационно-образовательная среда СИПКРО обеспечивает условия для формирования и оценки развития функциональной грамотности в Самарской области на основе научно-методологического, научно-исследовательского, экспериментально-аналитического принципов.

Особенно важно, что на основе степени сформированности читательской и математической грамотности обучающихся основной школы разработаны рекомендации для педагогов, руководителей образовательных учреждений Самарской области.

Таким образом, региональный мониторинг по формированию и оценке развития функциональной грамотности учащихся показал реальное (то есть достигаемое в современных условиях) качество образования учащихся. 

Конфликт интересов Не указан.

Conflict of Interest None declared.

Список литературы / References

1. Assessment and Analytical Framework: Science, Reading, Mathematics, Financial Literacy and Collaborative Problem Solving,revised edition, Paris PISA, OECD Publishing. 2015 p. 65-80.
2. Mathematics Framework (First Draft) 2018 [For Official Use], Paris OECD Governing Board PISA 2021 p. 8, 21-22
3. Афанасьева С.Г. Формирование исследовательских навыков бакалавра при разработке курсового проекта / С.Г. Афанасьева // Вестник Самарского государственного технического университета. Серия «Психолого-педагогические науки» − − №3 (27). − С. 22 - 29.
4. Афанасьева С.Г. Развитие функциональной грамотности обучающихся основной школы / С.Г. Афанасьева, Е.М. Бобрович, С.Н. Хохлова // Методическое пособие для педагогов – Самара: СИПКРО, 2019. 105 с.
5. Афанасьева С.Г. Формирование исследовательских навыков бакалавров-педагогов в процессе моделирования средствами проектной деятельности / С.Г. Афанасьева // Германия, 2017 LAP LAMBERT Academic Publishing ist ein Imprint der – 78 с.
6. Басюк В.С. Инновационный проект Министерства просвещения «Мониторинг формирования функциональной грамотности»: основные направления и первые результат / В.С. Басюк, Г.С Ковалева // М: Отечественная и зарубежная педагогика. Серия «Функциональная грамотность - важнейший результат образования». Т 1 №4 (61). − С. 13 - 34.
7. Орлова С.Л. Возможность экспертизы заданий для оценки функциональной грамотности обучающихся в системе дополнительного образования педагогов. / С.Л. Орлова, Е.М. Таслицкая, Т.В. Четвертных // М: Отечественная и зарубежная педагогика 2019. Т 1 №4 (61). − С. 248 - 258.
8. Рослова Л.О. Концептуальные основы формирования и оценки математической грамотности / Л.О. Рослова, К.А. Краснянская, Е.С. Квитко // М: Отечественная и зарубежная педагогика. Т. 1, № 4 (61). С. 58–79
9. Субетто А.И. Рефлексивная квалиметрия и рефлексосистемогенетика / А.И. Субетто // Квалиметрия человека и образования: Методология и практика. Ч. 1, 2. – М.: ИЦ проблем качества подготовки специалистов, 1994. – С. 118-138.
10. Федеральный государственный образовательный стандарт основного общего образования / [Электронный ресурс] – URL: https://fgos.ru/. (дата обращения: 13.09.2020)

Список литературы на английском языке / References in English

1. Assessment and Analytical Framework: Science,Reading, Mathematics, Financial Literacy and Collaborative Problem Solving,revised edition, Paris PISA, OECD Publishing. 2015 p. 65-80.
2. Mathematics Framework (First Draft) 2018 [For Official Use], Paris OECD Governing Board PISA 2021 p. 8, 21-22
3. Afanasyeva S. G. Formirovanie issledovatel'skih navykov bakalavra pri razrabotke kursovogo proekta [Formation of bachelor's research skills in the course project development] / S. G. Afanasyeva // Vestnik Samarskogo gosudarstvennogo tehnicheskogo universiteta. Serija «Psihologo-pedagogicheskie nauki» [Bulletin of the Samara state technical University. Series "Psychological and pedagogical Sciences"] − 2015. − №3 (27). − Pp. 22-29. [in Russian]
4. Afanasyeva S. G. Razvitie funkcional'noj gramotnosti obuchajushhihsja osnovnoj shkoly [Development of functional literacy of students of the main school] / S. G. Afanasyeva, E. M. Вobrovich, S. N. Khokhlova // Metodicheskoe posobie dlja pedagogov [Methodological guide for teachers]-Samara: sipkro, 2019. 105 p. [in Russian]
5. Afanasyeva S. G. Formirovanie issledovatel'skih navykov bakalavrov-pedagogov v processe modelirovanija sredstvami proektnoj dejatel'nosti [Formation of research skills of bachelor teachers in the process of modeling by means of project activity] / S. G. Afanasyeva // Germany, 2017 LAP LAMBERT Academic Publishing ist ein Imprint der-78 p. [in Russian]
6. Basyuk V. S. Innovacionnyj proekt Ministerstva prosveshhenija «Monitoring formirovanija funkcional'noj gramotnosti»: osnovnye napravlenija i pervye rezul'tat [Innovative project of the Ministry of education "Monitoring the formation of functional literacy": main directions and first results] / V. S. Basyuk, G. S. Kovaleva // M: Otechestvennaja i zarubezhnaja pedagogika. Serija «Funkcional'naja gramotnost' - vazhnejshij rezul'tat obrazovanija» [M: Domestic and foreign pedagogy. A series of "Functional literacy is the most important result of education."] 2019. Vol 1 No. 4 (61). − P. 13 - 34. [in Russian]
7. Orlova S. L. Vozmozhnost' jekspertizy zadanij dlja ocenki funkcional'noj gramotnosti obuchajushhihsja v sisteme dopolnitel'nogo obrazovanija pedagogov [The possibility of examination of tasks for assessing the functional literacy of students in the system of additional education of teachers] / S. L. Orlova, E. M. Taslitskaya, T. V. Chetvertnykh // M: Otechestvennaja i zarubezhnaja pedagogika [M: Domestic and foreign pedagogy] 2019. Vol 1 No. 4 (61). - P. 248-258. [in Russian]
8. Roslova L. O. Konceptual'nye osnovy formirovanija i ocenki matematicheskoj gramotnosti [Conceptual bases of formation and assessment of mathematical literacy] / L. O. Roslova, K. A. Krasnyanskaya, E. S. Kvitko // M: Otechestvennaja i zarubezhnaja pedagogika [M: Domestic and foreign pedagogy]. 2019. Vol. 1, No. 4 (61). Pp. 58-79 [in Russian]
9. Subetto A. I. Refleksivnaja kvalimetrija i refleksosistemogenetika [Reflexive qualimetry and reflexosystemogenetics] / A. I. Subetto // Kvalimetrija cheloveka i obrazovanija: Metodologija i praktika [Qualimetry of a person and education: Methodology and practice]. Part. 1, 2. - M.: IC problems of quality of training of specialists, 1994. - P. 118-138. [in Russian]
10. Federal'nyj gosudarstvennyj obrazovatel'nyj standart osnovnogo obshhego obrazovanija [Federal state educational standard of basic General education] [Electronic resource] URL: https://fgos.ru/.(accessed: 13.09.2020) [in Russian]