WORKING WITH OPEN DATA SOURCES FOR SOCIAL RESEARCH PURPOSES VIA STUDENT FEEDBACK ON THE TRANSITION TO DISTANCE LEARNING AT THE BEGINNING OF THE COVID-19 PANDEMIC

РАБОТА С ДАННЫМИ ОТКРЫТЫХ ИСТОЧНИКОВ ДЛЯ ПРОВЕДЕНИЯ СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ НА ПРИМЕРЕ ИССЛЕДОВАНИЯ РЕАКЦИИ УЧАЩИХСЯ НА ПЕРЕХОД НА ДИСТАНЦИОННОЕ ОБУЧЕНИЕ В ПЕРИОД НАЧАЛА ПАНДЕМИИ КОРОНАВИРУСА

Научная статья

Калаврий Т.Ю.^1, *, Золотарева Т.В.²

¹ ORCID: 0000-0002-2279-2059;

^{1, 2} Северо-Восточный федеральный университет им. М.К. Аммосова, Якутск, Россия

* Корреспондирующий автор (k-tipu[at]mail.ru)

Аннотация

Открытые данные – это то хранилище информации, в котором можно найти и использовать информацию о многих аспектах жизни, что делает их ценными для проведения социологических исследований, в том числе связанных с субъективными оценками.

В данной статье рассматривается методика проведения такого исследования – исследования реакции учащихся на переход на дистанционное обучение в начале пандемии коронавируса Covid-19.

Исследование проводилось сообществом ученых Университетского Консорциума исследователей больших данных.

Работы в рамках данного исследования проводились на основе анализа высказываний пользователей социальной сети ВКонтакте, опубликованных там в период перехода учебных заведений на дистанционную форму обучения в марте 2000 года в начале пандемии коронавируса. В ходе исследования были проведены выгрузка и анализ сообщений из постов социальной сети.

Все работы условно делились на три этапа: подготовительный, где производился подбор субъектов, имеющих данные, соответствующие требованиям, предъявляемым к большим данным и релевантных теме исследования, выгрузка данных, их предварительный анализ; непосредственно анализ высказываний в соответствии с разработанными индикаторами; подготовка итогового отчета, в котором проанализированы сообщения студентов 309 российских университетов из 80 регионов, определена эмоциональная тональность сообщений, выявлены основные проблемы перехода на дистанционное обучение, проведено сравнение ситуаций в разных регионах.

Ключевые слова: Открытые источники, большие данные, социологическое исследование, переход на дистанционную форму обучения, реакция учащихся.

WORKING WITH OPEN DATA SOURCES FOR SOCIAL RESEARCH PURPOSES VIA STUDENT FEEDBACK ON THE TRANSITION TO DISTANCE LEARNING AT THE BEGINNING OF THE COVID-19 PANDEMIC

Research article

Kalavriy T.Yu.^1, *, Zolotareva T.V.²

¹ ORCID: 0000-0002-2279-2059;

^{1, 2} M. K. Ammosov North-Eastern Federal University, Yakutsk, Russia

* Corresponding author (k-tipu[at]mail.ru)

Abstract

Open data is a repository of information about many aspects of life, which makes it valuable for conducting sociological research, including the kind that is related to subjective assessments.

This article discusses the methodology for conducting a study on the reaction of students to the transition to distance learning during the initial period of the Covid-19 pandemic.

The study was conducted by a community of scientists from the University of the Big Data Research Consortium.

The research was based on the analysis of statements on the social network VK made by users during the transition of educational institutions to distance learning in March 2020 at the beginning of the coronavirus pandemic. The study included uploading and analyzing messages from social network posts.

The research was divided into three stages: the preparatory stage, where the selection of subjects with data that meet the requirements for big data and are relevant to the research topic as well as data uploading and its preliminary analysis were made; the analysis stage, where the statements were analyzed in accordance with the developed indicators; the stage of preparation of the final report, where the messages of students from 309 Russian universities in 80 regions were analyzed. The stage also involved determining the emotional tone of messages, identifying the main problems of switching to distance learning, and compared the situations in different regions.

Keywords: Open data, big data, sociological research, transition to distance learning, student feedback.

Введение

Исследования жизни общества ведутся различными методами и средствами. Большинство из них опирается на данные, как на сведения, необходимые для какого-либо вывода, решения.

Открытые источники, большие данные, цифровой след – все эти термины прочно вошли в современную жизнь. И эти явления предоставили дополнительную возможность для формирования различных выводов в разных сферах деятельности. Мы привыкли к контекстной рекламе, цифровому портрету потребителя, сформированным на основе таких данных. Применение больших данных, в том числе из открытых источников, таких, как социальные сети, дает возможным проводить анализ не только в целях маркетинга, что уже привычно.

Технологические новации последней четверти века создали ситуацию сбора и хранения в автоматическом или почти автоматическом режиме огромных массивов данных. Данные активности в социальных сетях и поисковых запросов в сети Интернет, материалы видеонаблюдения в общественных местах, архивы личных записей кадровых отделов крупных компаний - все это постепенно становится доступным для обработки и анализа, радикальным образом меняя ситуацию в исследованиях человеческого поведения. Часто такие массивы информации называются "большими данными" (Big Data) [2].

Новые данные превосходят старые в своем объеме, разнообразии и глубине, но обычно они существуют совсем не в том виде, в котором готовы для анализа. Превращение сырых данных в нужный для исследователей формат требует специальных компетенций из области компьютерной науки. Исследователи перечисляют целый арсенал методов: математическое и статистическое моделирование; динамический анализ сетей; автоматическое генерирование гипотез; методы интеграции мультимодальных данных; возможности обработки естественного языка и машинное обучение [3].

Поэтому научный интерес вызывают конкретные примеры исследований, проводимых на основе обработки больших данных. Изучение методик проведения исследований, основанных на обработке больших данных, позволит исследовательскому сообществу выработать инструментарий для анализа, построить программы исследования, освоить новые актуальные приемы.

Основная часть

Примером такого исследования может служить проект по изучению эмоциональной тональности сообщений студентов в социальных сетях [8]. Данное исследование проводилось сообществом ученых Университетского Консорциума исследователей больших данных по заказу Министерства науки и высшего образования РФ, в которое входят команды 28 высших учебных и научных заведений. Работы в рамках данного исследования проводились на основе анализа высказываний пользователей социальной сети ВКонтакте, опубликованных там в период перехода учебных заведений на дистанционную форму обучения в марте 2000 года в начале пандемии коронавируса.

Молодежная аудитория представлена в основном в сетях Fasebook, Twitter, ВКонтакте (тогда как, например, Живой Журнал, Одноклассники.ру охватывают в основном более «взрослую» аудиторию). ВКонтакте – крупнейшая русскоязычная социальная сеть. Огромным ее преимуществом является возможность задавать сложные поисковые запросы – например, искать студентов определенного факультета определенного вуза конкретного года выпуска. Охват молодежной аудитории данной сетью значителен, о чем можно судить, сопоставляя общее число студентов определенного вуза и общее число зарегистрированных пользователей сетей из числа студентов того же вуза [4].

Анализ социальных сетей представляет собой актуальный метод исследования, который способен обеспечить доступ к сведениям, недоступным традиционным исследованиям, таким, например, как опрос: проведение исследования в крупных масштабах, анализ социального капитала посредством выявления и установления социальных связей и взаимодействия между отдельными выпускниками [1].

Обработка полученных данных в соответствии с целями и задачами проекта обеспечивалось применением следующего инструментария: социально-сетевой анализ, технологии визуализации графов, методы математической статистики и машинного обучения, нейро-нечеткие методы.

Основная работа сводится к ручной разметке текстовых сообщений по категориям, подбору необходимой информации и статистических данных, поиску онлайн сообществ в социальных сетях по лингвистическим маркерам, а также написанию аналитических отчетов по проделанной работе.

За период 16 марта- 14 июня 2020г. в мониторинг было включено 456 вузов страны, были выгружены и проанализированы сообщения с 1,73 млн. аккаунтов студентов в социальных сетях.

Обработка данных проводилась в три этапа.

I. Подготовительный. На данном этапе производился подбор субъектов, имеющих данные, соответствующие требованиям, предъявляемым к большим данным и релевантных теме исследования, получение (выгрузка) данных, их предварительный анализ.

В разрезе проводимого исследования «Образование в условиях коронавируса: большие данные как инструмент измерения реакции общества» субъектами исследования были определены крупные неформальные сообщества (группы пользователей) социальной сети ВКонтакте численностью от 300 человек, размещавшие сообщения (посты) о переходе на дистанционное обучение и обучение в условиях начавшейся пандемии Covid-19. Как правило, такими сообществами являлись студенческие или школьные группы.

Найденные сообщества должны были удовлетворять нескольким критериям, в том числе они должны быть активны (не менее 10 постов за 30 дней, предшествующих дате поиска).

Поиск таких сообществ осуществлялся вручную, средствами поиска самой социальной сети, по лингвистическим маркерам. Данные маркеры определялись самостоятельно исполнителем в соответствии с тематикой поиска (например, слова «подслушано», «типичный», «студент» и т.п.) и в обязательном порядке фиксировались.

Результаты отбора субъектов отображались в табличной форме (таблица 1), с указанием названия сообщества, ссылки на него, региона (при наличии).

 

Таблица 1 – Фрагмент предварительной подготовки отбора субъектов исследования

№	ID сообщества	Название сообщества	Регион сообщества	Cсылка на сообщество	Количество участников, чел.
1	-46599987	Дворец пионеров и школьников им.Н.К.Крупской	Челябинская область	https://vk.com/palacechelyabinsk	6094
2	-194020521	Подслушано МОУ СОШ №39	Республика Коми	https://vk.com/public90066457	552
3	-136489951	"Подслушано в школе"	Омская область	https://m.vk.com/school_number130	582
4	-194020521	"ДИСТАНЦИОНКА" МОУ "СОШ №9" г. Сыктывкар	Республика Коми	https://vk.com/club194020521
5	-62051738	"Подслушано" | МАОУ СОШ №74	Челябинская область	https://vk.com/chel.shkool74	2727
6	-162167489	| Подслушано | Лицей №6 |	Свердловская область	https://vk.com/litsey6supergood	389
7	-177873701	♡ПрИзНаВаШкИ г.Чадан школа2♡	Республика Тыва	https://vk.com/priznavashki017	669

 

Затем, в целях удаления нерелевантных сообществ, проводилась перекрестная проверка списков.

После формирования списка обрабатываемых сообществ была определена целевая аудитория исследования. Для этого для каждого сообщества проводилась выгрузка подписчиков. Выгрузка проводилась с использованием специального программного обеспечения, разработанного и предоставляемого в рамках Университетского консорциума исследователей больших данных. По результатам выгрузки формировались таблицы, содержащие данные подписчиков. Фрагмент такой таблицы приведен на рисунке 1. Общее количество полученных таким образом записей составило более 2 млн.

Подобная таблица формировалась для каждого сообщества, и проводился ее анализ. Целевая аудитория была определена вхождением пользователей в возрастную группу 7-18 лет, т.е. учащиеся учебных заведений уровней общего среднего, среднего профессионального и высшего образования. Сверялось количество подписчиков в сообществе с количеством выгруженных записей, затем проводился отбор среди лиц, указавших полную дату рождения и соответствующих выделенной возрастной группе. Данные обезличивались и сводились в таблицу для дальнейшего анализа (таблица 2).

Рис. 1 – Фрагмент результатов выгрузки сведений о подписчиках

 

Таблица 2 – Обработка данных сообществ для определения целевой аудитории исследования

 

Таким образом, на подготовительном этапе в результате предварительной обработки данных были подготовлены списки сообществ, имеющие релевантную исследованию аудиторию, активную в исследуемый период для дальнейшего анализа сообщений в этих сообществах (контента) и данные о целевой аудитории.

II. Анализ высказываний в соответствии с разработанными индикаторами.

Для дальнейшей работы на втором этапе также производилась выгрузка данных с помощью инструментов платформы по работе с данными социальных сетей. Выгружалось содержимое сообщений (постов). Выгруженные данные распределялись по видам учебных заведений и территориальному признаку (субъектам РФ), что соответствовало сортировке, также проведенной на предварительном этапе.

Выгруженные сообщения были размечены по релевантности изучаемой теме, что позволило в дальнейшем систематизировать релевантные сообщения по тематике и тональности. Так как предметом исследования являлась реакция обучающихся на переход на дистанционное обучение, то рассматривались только сообщения, в которых упоминались явления, с ним связанные. К релевантным («не мусорным») сообщениям относили:

• системные проблемы и организация образовательного процесса (сессия, домашние задания, лекции, семинары, документооборот, техническое обеспечение учебного процесса, личные кабинеты, канал интернета и т.д.);
• отношение к преподавателям и качеству преподавания;
• плохое информирование учащихся в условиях перехода на дистанционное обучение (доступность корпусов и общежитий, режим работы и т.д.);
• проживание в кампусе, его доступность; организация досуга, питания и медицинского обслуживания, неформальное образование;
• стипендия, оплата за обучение, материальная поддержка и подработка;
• самочувствие и психологическое состояние студента;
• мнение или вопрос абитуриента, связанный с поступлением в учебное заведение в новых условиях.

Соответственно, посты маркировались следующим образом:

1. Мусор - нерелевантные сообщения, т.е. не относящиеся к организации учебного процесса и деятельности учебного заведения в период перехода на дистанционное обучение;

К «мусорным» сообщениям относились:

• проблемы и вопросы не системного, а субъективного характера: помощь в выполнении учебных заданий, сдача определенных предметов, получении контактов преподавателей и т.д.;
• бытовые и личностные вопросы (кино, любовь, отношения, политические взгляды, семья, собаки, кошки, одежда, парни, девушки, вечеринки, заведения, игры и другое);
• объявления о событиях, реклама, поздравления, акции, розыгрыши;
• ироничные сообщения, мемы, шутки.

2. Не дистант - сообщения, относящиеся к организации учебного процесса и деятельности учебного заведения в целом, но не содержащие информации о дистанционном обучении;
3. Предложение - выдвижение какой-то идеи, рекомендации, действия;
4. Вопрос – вопрос, связанный с организацией учебного процесса и деятельностью учебного заведения;
5. Тематика - предмет обсуждения, смысловая нагрузка поста;

В тематике сообщений были выделены следующие группы:

• Организационно-методические вопросы, связанные с учебным процессом, документооборотом, расписанием, нагрузкой, организацией занятий и самостоятельной работы, контролем знаний;
• Техническое обеспечение учебного процесса: применяемые информационные технологии, в том числе программное обеспечение.
• Самочувствие и личные качества: физиологическое и психологическое состояние, личные качества.
• Социально-финансовая сфера: стипендия, материальная помощь, работа, оплата за обучение.
• Бытовые условия: проживание в общежитиях, занятия спортом, доступность магазинов, предметы первой необходимости, организация питания, конфликты с соседями по комнате.
• Другое.

При этом указывалось, если в одном сообщении затрагивалось несколько тем. Вопрос о разметке постов, вызывающих трудности с отнесением к определенной категории, решался экспертно.

На основе проводимой разметки был создан алгоритм автоматической сортировки текстов на «мусор» и «не мусор».

Для релевантных (немусорных) сообщений была проведена оценка тональности. Тональность – степень эмоциональности, выраженная в сообщении. Тональность сообщения определялась по эмоциональному впечатлению, производимому на читателя.

Выделялись следующие значения тональности:

- Позитивная: в сообщении высказывается позитивное мнение относительно обсуждаемого вопроса;

- Негативная: в сообщении высказывается негативное мнение относительно обсуждаемого вопроса. Часто негатив свидетельствует о существующей проблеме;

- Нейтральная: в сообщении не выражается конкретное мнение, а сообщаются сухие факты или задается вопрос (без эмоциональной окраски).

Если в сообщении обозначалась какая-либо проблема, указывалась негативная тональность (даже если явно такая тональность не проявлена).

В ходе дальнейшего анализа негативные значения позволят выявить существующие проблемы в дистанционном обучении.

Фрагмент работы по категоризации сообщений и определения их релевантности представлен в таблице 3.

 

Таблица 3 – Категоризация данных для определения релевантных сообщений

 

Результаты этого этапа позволили отобрать для дальнейшей обработки те сообщества в сети ВКонтакте, которые соответствуют целевой группе и имеют текстовые сообщения по теме исследования. Сообщества были объединены в соответствующие категории.

III. Составление отчета.

На заключительном этапе работы результаты компоновались в таблицы по субъектам Российской Федерации в соответствии с отобранными (проявляющими наибольшую активность в обсуждении темы перехода на дистанционное обучение в начале пандемии Covid-19) учебными заведениями.

Была дана характеристика и оценка информационного охвата, активности, лояльности и степени вовлеченности в обсуждение ситуации. При подготовке материалов использовались, кроме результатов, полученных обработкой открытых данных социальной сети ВКонтакте, данные из официальных источников [5], [6]. Пример таблицы приведен ниже (таблица 4).

 

Таблица 4 – Оценка информационного охвата, активности, вовлеченности и лояльности по региону

Окончание таблицы 4 – Оценка информационного охвата, активности, вовлеченности и лояльности по региону

Для подобной оценки были разработаны общие индикаторы (таблица 5).  

Таблица 5 – Индикаторы оценки сообществ учебных заведений по вузам РФ

Индикатор	Значение по вузам России
Количество сообществ в сетях	1 сообщество - ниже среднего 2 сообщества - средний уровень 3-6 сообществ - выше среднего 7 и больше - высокий уровень
Количество подписчиков	до 5411 - низкое количество от 5412 до 9914 - количество ниже среднего от 9915 до 17872 - количество выше среднего от 17873 - высокое количество
Информационный охват (количество участников к среднему количеству просмотра одного поста)	до 0,083 - низкое количество от 0,084 до 0,144 - ниже среднего от 0, 145 до 0,227 - выше среднего от 0,228 - высокое количество
Уровень лояльности (среднее количество лайков на один пост)	до 6,66 - низкое количество от 6,66 до 13,392 - ниже среднего от 13,392 до 25,027 - выше среднего от 25,028 - высокое количество
Уровень вовлеченности в обсуждение контента (среднее количество комментариев на один пост)	до 0,884 - низкое количество от 0,885 до 1,607 - ниже среднего от 1,608 до 2,713 - выше среднего от 2,714 - высокое количество

 

В итоге было охарактеризовано отношение учащихся к переходу на дистанционное обучение с точки зрения наиболее часто встречавшихся и обсуждаемых тем сообщений и их эмоциональной окраски. Была проведена лемматизация слов в сообщениях выделенных сообществ учебных заведений и выделены топы релевантных постов. Это позволило определить наиболее характерные проблемы учащихся, возникшие при смене формы обучения.

Заключение

С применением сложного математического аппарата и большого количества информации появилась возможность более точно предсказывать поведение отдельного человека или целой социальной группы. В силу популяризации цифрового мира данных для анализа с каждым годом будет генерироваться все больше, вследствие чего и прогнозы будут становиться более точными [7].

Соответственно, такое количество данных, в том числе цифровых следов, оставляемых пользователями в социальных сетях, возможно использовать в социологических исследованиях. Пример подобного исследовательского проекта рассмотрен в статье.

Основной задачей проекта являлось составление перечня проблем в образовательном процессе (как в условиях перехода на дистанционное обучение, так и вне его), поиск историй успеха в области перехода на дистанционное обучение и сбор предложений к изменениям.

Итогом всей работы стал сводный отчет, в котором проанализированы сообщения студентов 309 российских университетов из 80 регионов, оставленные молодежью в неофициальных университетских сообществах (например, «Подслушано в…»), определена эмоциональная тональность сообщений, проведено сравнение ситуаций в разных регионах. Всего было проанализировано более 2 млн. сообщений [8]. Такая характеристика соответствует понятию «большие данные».

Конфликт интересов Не указан.

Conflict of Interest None declared.

Список литературы / References

1. Бабкина Т.С. Траектория выпускников российских вузов на данных социальных медиа. / Т.С. Бабкина, В.Л. Гойко, Ю.О. Мундриевская и др. // Управление развитием крупномасштабных систем (mlsd'2018): Материалы одиннадцатой международной конференции / Под общей редакцией С.Н. Васильева, А.Д. Цвиркуна. – М.: Институт проблем управления им. В.А. Трапезникова РАН, 2018. – с. 489-491.
2. Волков В.В. Проблемы и перспективы исследований на основе Big Data (на примере социологии права) / В.В. Волков, Д.А. Скугаревский, К.Д Титаев // Социологические исследования – 2016. - № 1 (381). – с. 48-58.
3. Губа К. Большие данные в социологии: новые данные, новая социология? / К. Губа // Социологическое обозрение – 2018. - т. 17, № 1. - с. 213–236.
4. Замятина Н.Ю. Метод изучения миграций молодежи по данным социальных интернет-сетей: Томский государственный университет как "центр производства и распределения" человеческого капитала (по данным социальной интернет-сети "ВКонтакте") / Н.Ю. Замятина // Региональные исследования – 2012. - №2 (36). - с. 15-28.
5. Информационно-аналитические материалы по результатам проведения мониторинга эффективности деятельности образовательных организаций высшего образования // Департамент государственной политики в сфере высшего образования и молодежной политики Министерства науки и высшего образования Российской Федерации. – [Электронный ресурс] URL: http://indicators.miccedu.ru/monitoring/2019/index.php?m=vpo (дата обращения 25.07.2020).
6. Информация о социально-экономическом положении России // Федеральная служба государственной статистики - [Электронный ресурс] URL: https://rosstat.gov.ru/compendium/document/50800 (дата обращения 25.07.2020).
7. Китенко А.М. Может ли социология быть точной наукой? / А.М. Китенко // Философия и гуманитарный науки в информационном обществе – 2020. - №2(28). - с. 112-120.
8. На форуме «Открытые данные-2020» представили результаты проекта по изучению эмоциональной тональности сообщений студентов в соцсетях // Официальный сайт Университетского консорциума исследователей больших данных - [Электронный ресурс] URL: https://opendata.university/pagehtml (дата обращения 30.10.2020).

Список литературы на английском языке / References in English

1. Babkina T. S. Traektoriia vypusknikov rossiiskikh vuzov na dannykh sotsial'nykh media. [Trajectory of Russian University Graduates Based on Social Media Data] / T. S. Babkina, V. L. Gojko, Yu. O. Mundrievskaya et al. // Upravlenie razvitiem krupnomasshtabnykh sistem (mlsd'2018): Materialy odinnadtsatoi mezhdunarodnoi konferentsii. [Managing the development of large-scale systems (mlsd ' 2018)]. Proceedings of the Eleventh International Conference]. Edited by S. N. Vasiliev, A.D. Tsvirkun. - M.: V.A. Trapeznikov Institute of Control Sciences, Academy of Sciences, 2018, pp. 489-491 [in Russian]
2. Volkov V. V. Problemy i perspektivy issledovanii na osnove Big Data (na primere sotsiologii prava) [Problems and Prospects of Research Based on Big Data (on the Example of the Sociology of Law)] / V. V. Volkov, D. A. Skugarevsky, K. D. Titaev // Sotsiologicheskie issledovaniia [Sociological Research]– 2016. - № 1 (381). – pp. 48-58 [in Russian]
3. Guba K. Bol'shie dannye v sotsiologii: novye dannye, novaia sotsiologiia? [Big Data in Sociology: New Data, New Sociology?] / K. Guba // Sotsiologicheskoe obozrenie [Sociological Review] -2018. - vol. 17, no. 1. - pp. 213-236 [in Russian]
4. Zamyatina N. Yu. Metod izucheniia migratsii molodezhi po dannym sotsial'nykh internet-setei: Tomskii gosudarstvennyi universitet kak "tsentr proizvodstva i raspredeleniia" chelovecheskogo kapitala (po dannym sotsial'noi internet-seti "VKontakte") [Method for Studying Youth Migration Based on Social Internet Networks: Tomsk State University as a" Center of Production and Distribution " of Human Capital (According to the Social Internet Network "Vkontakte")] / N. Yu. Zamyatina // Regional'nye issledovaniia [Regional Research] – 2012. - №2 (36). - pp. 15-28 [in Russian]
5. Informatsionno-analiticheskie materialy po rezul'tatam provedeniia monitoringa effektivnosti deiatel'nosti obrazovatel'nykh organizatsii vysshego obrazovaniia [Information and Analytical Materials on the Results of Monitoring the Effectiveness of Higher Education Institutions] // Departament gosudarstvennoi politiki v sfere vysshego obrazovaniia i molodezhnoi politiki Ministerstva nauki i vysshego obrazovaniia Rossiiskoi Federatsii. [Department of State Policy in Higher Education and Youth Policy of the Ministry of Science and Higher Education of the Russian Federation]. – [Electronic resource] URL: http://indicators.miccedu.ru/monitoring/2019/index.php?m=vpo (accessed: 25.07.2020). [in Russian]
6. Informatsiia o sotsial'no-ekonomicheskom polozhenii Rossii [Information on the Socioeconomic Situation in Russia // Federal'naia sluzhba gosudarstvennoi statistiki [Federal State Statistics Service] — [Electronic resource] URL: https://rosstat.gov.ru/compendium/document/50800 (accessed: 25.07.2020). [in Russian]
7. Kichenko A. M. Mozhet li sotsiologiia byt' tochnoi naukoi? [Can Sociology Be an Exact Science?] / A. M. Kitenko // Filosofiia i gumanitarnyi nauki v informatsionnom obshchestve [Philosophy and Humanities in the Information Society] – 2020. - № 2 (28). - pp. 112-120 [in Russian]
8. Na forume «Otkrytye dannye-2020» predstavili rezul'taty proekta po izucheniiu emotsional'noi tonal'nosti soobshchenii studentov v sotssetiakh [The Results of a Project on Studying the Emotional Tone of Students' Messages in Social Networks At the "Open Data-2020" Forum] // Universitetskogo konsortsiuma issledovatelei bol'shikh dannykh [Official website of the University of the Big Data Consortium] [Electronic resource] URL: https://opendata.university/page13481895.html (accessed: 30.10.2020). [in Russian]