Критерий

Moodle (модуль Quiz)

Stepik

Coursera Assessments

Amplitude / Mixpanel

Разрабатываемое решение

Назначение системы

LMS с модулем тестирования и базовой отчетностью по попыткам

Платформа онлайн-курсов с тестами и заданиями

Система оценивания в рамках MOOC-платформы

Платформы продуктовой аналитики для любых цифровых сервисов

Специализированный backend для оценки знаний студентов с продуктовой аналитикой

Тип метрик

Академические: оценка, число попыток, процент верных ответов

Академические: прогресс по курсу, результаты заданий

Академические и частично поведенческие метрики

Продуктовые: события, конверсии, воронки, retention

Совмещение академических и продуктовых метрик (успеваемость + вовлеченность, конверсии по заданиям, retention)

Работа с событиями

Логи в основном внутри LMS, ограниченные возможности кастомизации

Сбор событий реализован, но закрыт и недоступен для гибкой доработки

Логи и аналитика закрыты, управляются платформой

Гибкий сбор любых событий, но без образовательной доменной модели

Явный слой логирования учебных событий (курс, модуль, задание, попытка, событие) в модели данных backend-сервиса

Архитектура серверной части

Крупный монолит, расширение через плагины, сложная модернизация

Закрытая архитектура платформы, недоступна для изменения

Корпоративное закрытое решение

Облачный сервис, SDK, нет контроля над внутренней архитектурой

Модульная архитектура backend (сервисы: управление курсами/заданиями, прием событий, расчет метрик, API отчетов)

Интеграция с внешними системами

API есть, но сильно завязано на модель Moodle

Ограниченные интеграции по официальным API

Интеграции в основном в рамках экосистемы Coursera

SDK и API, но без специализированной логики под обучение

Открытый API для фронтендов и внешних систем: LMS, личные кабинеты, BI-инструменты

Ориентация на продуктовые метрики

Практически отсутствует, акцент на успеваемости

Набор отчетов ограничен академическими показателями

Фокус на академических результатах и завершении курса

Максимальный фокус на продуктовых метриках, но нет связи с оценкой знаний

Изначально заложен продуктовый взгляд: воронки прохождения заданий, время до первой попытки, возвращаемость, активные пользователи

Доступность и модифицируемость

Open source, но сложен для переосмысления под продуктовую аналитику

SaaS-решение, закрытый код

Полностью закрытое коммерческое решение

SaaS-сервисы, нет доступа к внутренней логике

Проектируемое решение с открытой архитектурой, возможностью расширения метрик и логики расчета