1. Введение

Стремительное распространение систем генеративного искусственного интеллекта на базе больших языковых моделей (LLM), таких как ChatGPT, Claude, YandexGPT и GigaChat, оказало трансформирующее воздействие на высшее образование. Студенты активно делегируют интеллектуальным ассистентам широкий спектр задач: от поиска литературы и реферирования текстов до генерации и отладки программного кода. Однако неконтролируемое применение генеративного ИИ несет в себе выраженные дидактические риски: когнитивную пассивность, утрату субъектности и размывание академической честности. Административные запреты технологий показывают свою практическую неэффективность, что диктует необходимость перехода к гибкому дидактическому сопровождению и инструментальному мониторингу работы студентов с нейросетями.

В отечественной и зарубежной литературе анализ интеграции генеративного ИИ в образование ведется по нескольким направлениям:

Педагогические и этические вызовы внедрения нейросетей. В работах Н. Р. Валиахметовой, Р. М. Ахмадуллиной и И. Э. Ярмакеева систематизированы дидактические возможности и риски применения нейросетей в учебном процессе [1]. Н. А. Верезубова, О. А. Яковлева и О. А. Кишкинова акцентируют внимание на угрозе снижения критического мышления обучающихся и этических барьерах внедрения диалоговых агентов [2].

Мониторинг цифрового следа и контроль самостоятельной работы. Развитие средств автоматизированного наблюдения за активностью обучающихся рассматривается в трудах А. Б. Дусткобилова, где предложены алгоритмы трекинга пользовательского поведения и компьютерного зрения для платформ дистанционного обучения [3]. Комплексные вызовы трансформации учебной среды под воздействием генеративного ИИ подробно освещены А. Д. Жуковым [4], а вопросы стандартизации и технологической безопасности применения ИИ-инструментов рассмотрены В. В. Тимченко [5].

Когнитивные дефициты и дидактические модели работы с ИИ. На международном уровне D. Cecilio-Fernandes и J. Sandars описали феномен «галлюцинации обучения» (hallucination of learning), при котором высокая скорость получения готового сгенерированного ответа создает у студента ложную иллюзию глубокого усвоения предметного материала [6]. Для преодоления поверхностного потребления информации T. K. F. Chiu разработал пятиступенчатую модель решения информационных задач (AI-IPS model), задающую ориентиры критического и этического использования нейросетей [7].

Платформы образовательной аналитики (Learning Analytics) и LLM Observability. Попытки интеграции адаптивных ассистентов в вузовские платформы представлены в исследовании J. R. Lopez, M. A. Gomez, T. K. Smith и др. [8]. Концептуальные рамки этичного и контролируемого использования алгоритмов ИИ в академической среде сформулированы в рекомендациях ЮНЕСКО под руководством F. Miao и W. Holmes [9], [10].

Существующие системы мониторинга разделены на два обособленных класса. Системы традиционной образовательной аналитики (LMS Moodle, спецификации xAPI, IMS Caliper) фиксируют лишь поверхностные события (время сессии, просмотр страниц, факт прикрепления файла), оставляя ход мыслей и логику диалога студента с ИИ «слепой зоной». В свою очередь, инженерные платформы трассировки LLM (LangSmith, Arize Phoenix) решают узкотехнические задачи (замер latency, расход токенов, логирование ошибок API) и полностью лишены дидактического аппарата. Возникает противоречие между острой потребностью высшей школы в объективном оценивании когнитивной вовлеченности обучающихся при диалоге с ИИ и отсутствием программных архитектур, способных в реальном времени трансформировать неструктурированный текст промптов в валидные педагогические метрики.

Цель исследования — проектирование, программно-инструментальная реализация и эмпирическое обоснование архитектуры комплекса для потокового сбора, семантической обработки и дидактической интерпретации логов взаимодействия «обучающийся LLM».

Задачи исследования:

–

Сформулировать системные принципы и требования к архитектуре мониторинга взаимодействия с LLM (событийная модель, платформизделимость, Privacy-by-Design).

–

Спроектировать трехслойную модульную программную архитектуру комплекса, включающую уровни сбора данных, потоковой аналитики и визуализации.

–

Разработать алгоритм и математическую модель расчета интегрального индекса глубины взаимодействия (Interaction Depth Index, IDI) на основе семантического дрейфа промптов, динамики правок и времени осмысления.

–

Провести экспериментальную апробацию прототипа комплекса и валидацию показателя IDI на репрезентативной выборке учебных сессий студентов IT-профиля.

2. Методы и принципы исследования

Несмотря на использование устоявшихся технологических компонентов (событийно-ориентированная шина Kafka, векторные представления BERT, формат xAPI), предлагаемое решение обладает выраженной научной новизной. Она заключается в разработке специализированного метода и программной архитектуры непрерывного трекинга семантического дрейфа диалога «обучающийся — ИИ» в режиме реального времени. В отличие от типовых систем сбора логов, оригинальный вклад авторов заключается в интеграции модуля семантической векторизации и сопоставления промптов непосредственно в конвейер обработки данных (Event Bus pipeline). Это позволяет оценивать когнитивную траекторию студента в процессе выполнения работы, а не постфактум. Нами впервые предложена модель совместного анализа временных задержек, объема заимствования текста и семантического сходства последовательных промптов, что дает возможность автоматизированно разделять плагиат и осознанную итерационную работу (prompt-scaffolding).

Проектирование архитектуры комплекса базируется на принципах системного анализа, событийно-ориентированного программирования (Event-Driven Architecture) и концепции образовательной аналитики (Learning Analytics). Методологической основой дидактической интерпретации текстовых логов выступают пятиступенчатая модель решения информационных проблем с помощью ИИ (AI-IPS) [7] и таксономия мыслительных навыков Б. Блума.

При разработке архитектуры были сформулированы следующие системные принципы.

1. Событийно-ориентированная парадигма (Event-Driven Architecture): каждый запрос пользователя, ответ модели, сессия редактирования промпта или клик по элементам интерфейса трактуется как микрособытие, мгновенно передаваемое в шину данных.

2. Безопасность данных (Privacy-by-Design): строгое соблюдение законодательства о защите персональных данных (включая Федеральный закон № 152-ФЗ). Деперсонализация и удаление персонально идентифицируемой информации (PII) осуществляются на стороне клиентского агента до передачи текстовых данных в конвейер аналитики.

3. Платформенная независимость (API-first): обеспечение бесшовной интеграции через REST API, WebSockets и стандарт LTI (Learning Tools Interoperability) с LMS вуза, а также поддержка автономных web-клиентов.

Семантический анализ текстовых логов базируется на методах обработки естественного языка (NLP). Для расчета векторных представлений промптов и оценки семантического сходства используется предобученная модель семейства Sentence-BERT (sentence-transformers), оптимизированная для вычисления косинусного расстояния между текстовыми последовательностями.

3. Основные результаты

В ходе исследования разработана модульная трехслойная архитектура программно-инструментального комплекса мониторинга. Ее детальная блок-схема представлена на рисунке 1.

Комплекс состоит из трех ключевых слоев:

1. Слой сбора данных (Data Collection Layer). Обеспечивает перехват и логирование действий пользователя. Включает плагины для стандартных университетских LMS (интеграция через REST API или WebSockets), а также автономный веб-интерфейс чата с LLM-ассистентом. Все собираемые данные приводятся к единому формату xAPI (Experience API) Extended Profile. Структура базового логируемого события представлена в таблице 1.

2. Слой обработки и аналитики (Processing & Analytics Layer). Он представляет собой часть системы, которая выполняет вычисления. Данные о действиях передаются в шину сообщений Apache Kafka. С помощью этой технологии система продолжает работать, если ее используют многие люди одновременно. Когда текст очищен от персональных данных, он поступает в NLP-процессор. В этой части программы вычисляются векторы (эмбеддингов). Также программа сравнивает смысл предложений, которые вводит студент, и определяет тип его учебного поведения.

Теоретическое обоснование индекса IDI

Данная структура индекса глубины взаимодействия (IDI - Interaction Depth Index) по смыслу связана с моделью «когнитивного присутствия» (Cognitive Presence). Эта модель является частью теории конструирования знаний. Значение показателя определяется следующим методом:

Для каждого параметра в формуле есть числовое выражение, которое описывает процесс мышления:

* Параметр(динамика формулирования): Он показывает, как долго человек продолжает решать задачу и как он управляет своими действиями. Если студент делает запросы более сложными и меняет их, это означает, что он самостоятельно решает трудные задачи;

* Параметр [LATEX_FORMULA]\left(1-\operatorname{Sim}\left(P_{t}, P_{t-1}\right)\right)[/LATEX_FORMULA] (векторный семантический сдвиг): Он описывает, как меняется направление мыслей. Если косинусное сходство между запросами близко к 1.0, то человек повторяет одни и те же вопросы. В такой ситуации процесс получения знаний останавливается. Если сходство близко к 0.0, то человек переходит от одной темы к другой без четкого плана. Эффективная учебная стратегия обычно задается не слишком резким, а скорее умеренно направленным дрейфом смыслов (разность значений в диапазоне 0.3–0.7) [7];

* Параметр [LATEX_FORMULA]T_{\text {reading }}[/LATEX_FORMULA] (время осмысления) работает как такой маркер когнитивного усилия. Чтобы снизить долю ложных срабатываний, время чтения ответа нормируется относительно объема сгенерированного текста, в символах. Если же происходит моментальное копирование ответа при минимальном значении [LATEX_FORMULA]T_{\text {reading }}[/LATEX_FORMULA], [6]

Метод определения весовых коэффициентов

Настройка весов ([LATEX_FORMULA]w_{1}, w_{2}, w_{3}[/LATEX_FORMULA]) проведена с использованием метода анализа иерархий (МАИ) Т. Саати на основе экспертных оценок 15 преподавателей профильных IT-дисциплин Университета «Синергия» и специалистов по педагогическому дизайну. Для прикладных задач программирования были получены следующие согласованные значения весов: [LATEX_FORMULA]w_{1}[/LATEX_FORMULA] = 0,40 (вес правок); [LATEX_FORMULA]w_{2}[/LATEX_FORMULA] = 0,35 (вес семантического сдвига); [LATEX_FORMULA]w_{3}[/LATEX_FORMULA] = 0,25 (вес времени чтения). Индекс отношения согласованности матриц сравнения составил [LATEX_FORMULA]C R=0.04 \leq 0.10[/LATEX_FORMULA], что подтверждает высокую надежность экспертного консенсуса.

3. Слой визуализации (Visualization Layer). Уровень представления данных включает два специализированных интерфейса.

–

Дашборд преподавателя: визуализирует агрегированные показатели когнитивной активности студенческих групп, тепловые карты семантического дрейфа и алерты об академических трудностях.

–

Модуль рефлексии студента: предоставляет обучающемуся визуальную карту его собственной поисковой траектории, стимулируя развитие метапознания без применения стрессогенных методов жесткого контроля [3].

Эмпирическая валидация метрики

С целью верификации адекватности индекса IDI был проведен пилотный эксперимент на базе Университета «Синергия» с участием 48 студентов второго курса направления «Информационные системы и технологии». В процессе выполнения лабораторных работ по программированию было собрано 540 транзакционных сессий взаимодействия обучающихся с LLM-ассистентом на базе YandexGPT API.

Группа независимых экспертов (преподавателей кафедры) в режиме «слепого рецензирования» вручную проанализировала текстовые логи диалогов студентов и оценила уровень их реальной когнитивной вовлеченности по 5-балльной шкале. Сопоставление экспертных оценок с автоматически рассчитанным показателем IDI выявило сильную линейную связь (коэффициент корреляции Пирсона составил r = 0,78 при уровне значимости p < 0,01). Полученные данные эмпирически подтверждают, что предложенный индекс, адекватно и достоверно, в целом характеризует глубину и качество учебного взаимодействия обучающегося с языковой моделью

[6]

4. Обсуждение

Научно-прикладное значение предложенной архитектуры заключается в преодолении фундаментального ограничения традиционной цифровой педагогики, при котором аналитика сводится исключительно к поверхностным количественным отметкам в ущерб смысловому качественному анализу [7]. В отличие от распространенных решений, ограничивающихся изолированным накоплением сырых логов чата в реляционных базах, разработанный комплекс осуществляет непрерывную дидактическую интерпретацию неструктурированного потока данных непосредственно в конвейере их передачи.

Анализ динамики семантической схожести промптов позволяет преподавателям оперативно диагностировать методические дефициты в структуре учебного курса. Так, систематическое возникновение идентичных уточняющих запросов у значительной доли учебной группы (более 60–70% студентов) к базовым концепциям тем указывает на пробелы или неоднозначность формулировок в основном лекционном материале, требуя адресной корректировки методического фонда.

Важным аспектом выступает соблюдение баланса контроля и автономии. Комплекс исключает механику инвазивного прокторинга, вызывающего психологическое отторжение [3]. Через модуль рефлексии студенты получают инструмент объективной самооценки эффективности формулирования промптов (prompt engineering).

Ограничения исследования. Текущая реализация аналитического модуля зависит от лексической специфики используемой модели эмбеддингов. Корректная обработка узкоспециализированных технических запросов или профессиональных тезаурусов гуманитарных дисциплин требует дополнительной донастройки (fine-tuning) базовой языковой модели Sentence-BERT на целевых предметных корпусах.

5. Заключение

В рамках проведенного исследования получены следующие научно-практические результаты:

1. Разработана и обоснована масштабируемая модульная архитектура программно-инструментального комплекса непрерывного мониторинга взаимодействия обучающихся с генеративными LLM-ассистентами на основе парадигмы Event-Driven Architecture.

2. Реализован алгоритм сквозного семантического анализа промптов на базе модели Sentence-BERT, встроенный в конвейер шины Apache Kafka и обеспечивающий анонимизацию данных в строгом соответствии с принципами Privacy-by-Design.

3. Сформулирована математическая модель индекса глубины взаимодействия (IDI), связывающая технические характеристики диалога с уровнем когнитивного присутствия обучающегося. Весовые коэффициенты метрики верифицированы методом анализа иерархий ([LATEX_FORMULA]C R=0.04[/LATEX_FORMULA]).

4. Проведена эмпирическая валидация комплекса на выборке из 540 учебных сессий: подтверждена сильная статистическая связь расчетного индекса с экспертными педагогическими оценками ([LATEX_FORMULA]r=0,78; p &lt; 0,01[/LATEX_FORMULA]).

Внедрение разработанного комплекса в цифровую экосистему вузов позволит объективировать мониторинг самостоятельной работы студентов, предотвращать академическое мошенничество на этапе генерации решений и целенаправленно развивать компетенции промпт-инжиниринга. Дальнейшие исследования авторов направлены на апробацию микросервисов комплекса в масштабных междисциплинарных потоках и тонкую настройку моделей векторных представлений под специализированные тезаурусы.

The additional file for this article can be found as follows: