Экспертно-аналитический метод оценки латентных переменных в психофизиологии: теоретическое обоснование на основе теории нечётких множеств
Экспертно-аналитический метод оценки латентных переменных в психофизиологии: теоретическое обоснование на основе теории нечётких множеств
Аннотация
Предложен и теоретически обоснован экспертно-аналитический метод количественной оценки латентных переменных в психофизиологических и медицинских исследованиях. Метод интегрирует экспертное моделирование структуры латентной переменной, нормирование регистрируемых показателей через реперные точки на основе эмпирических процентилей с возможностью их коррекции экспертным путем и преобразование индикаторов в единую шкалу посредством функций принадлежности нечётких множеств. Агрегирование частных оценок осуществляется через среднее геометрическое, реализующее принцип компенсаторной гипердиагностики. Проведено систематическое сравнение предложенного подхода с классическими методами оценки латентных конструктов — IRT, SEM и fuzzy-SEM. Показано, что метод обладает преимуществами при работе с малыми выборками, гетерогенными данными и нелинейными зависимостями. Обсуждаются математические свойства используемых функций принадлежности, их связь с функцией желательности Харрингтона, а также границы применимости метода.
1. Введение
Проблема количественной оценки латентных переменных является одной из центральных в психофизиологии, психодиагностике и медицине труда. Латентные переменные — это теоретические конструкты (работоспособность, функциональное состояние, профессиональная пригодность, уровень тревожности), которые не могут быть измерены напрямую, а проявляются через совокупность регистрируемых индикаторов
, . Переход от наблюдаемых к латентным переменным требует применения специальных методов вычисления, обеспечивающих валидность и воспроизводимость получаемых оценок.В современной психометрике доминируют два класса подходов к оценке латентных конструктов: модели теории тестовых заданий (Item Response Theory, IRT)
и модели структурных уравнений (SEM) . Оба подхода хорошо формализованы и имеют развитый статистический аппарат. Однако их практическое применение в прикладных психофизиологических исследованиях наталкивается на ряд ограничений: требование больших выборок (n > 200 для SEM, n > 500 для многопараметрических моделей IRT), допущение о нормальности распределений, сложность интерпретации результатов для практиков-неспециалистов в математической статистике , .Альтернативный подход к оценке латентных переменных был заложен в квалиметрии — науке о количественной оценке качества
, . Квалиметрический подход предполагает построение иерархической структуры показателей, их нормирование и агрегирование в сводную оценку. Применение этого подхода к психофизиологическим конструктам осуществлялось в отечественных работах начиная с 1980-х годов , , однако до настоящего времени отсутствует систематическое теоретическое обоснование применяемых процедур с позиций теории нечётких множеств.Теория нечётких множеств, основы которой заложил Л.А. Заде
, позволяет формализовать переход от количественных показателей, результатов наблюдения к качественным оценкам через функции принадлежности. В отличие от классической бинарной логики, нечёткие множества допускают промежуточные степени принадлежности элемента к множеству (от 0 до 1), что адекватно отражает «размытую» природу психофизиологических конструктов , .Целью настоящей работы является теоретическое обоснование экспертно-аналитического метода оценки латентных переменных, интегрирующего квалиметрический подход с аппаратом теории нечётких множеств, и систематическое сравнение предложенного метода с альтернативными подходами (IRT, SEM, fuzzy-SEM).
2. Теоретические основы метода
2.1. Структура латентной переменной: экспертное моделирование
Латентная переменная L определяется как теоретический конструкт, проявляющийся через конечное множество регистрируемых индикаторов X = {x1, x2, ..., xn}. Структурная модель латентной переменной представляет собой ориентированный граф, в котором узлы соответствуют индикаторам, а рёбра — связям между индикаторами и латентной переменной.
Построение структурной модели осуществляется экспертным путём с привлечением специалистов предметной области (3–5 экспертов) и включает: определение перечня информативных тестов и их показателей; установление направленности влияния каждого показателя на латентную переменную (прямая или обратная); при необходимости — верификацию экспертных решений на обучающей выборке методами корреляционного или факторного анализа
.Оценка согласованности экспертных решений. Каждый из m экспертов (m = 3–5) независимо ранжирует k индикаторов-кандидатов по информативности для латентной переменной L (допускаются связанные ранги) и указывает направленность влияния каждого индикатора. Согласованность ранжировок оценивается коэффициентом конкордации Кендалла W = 12S / [m²(k³ − k) − m·ΣTⱼ], где S — сумма квадратов отклонений сумм рангов индикаторов от их среднего, Tⱼ — поправка на связанные ранги у j-го эксперта
. Статистическая значимость W проверяется критерием χ² = m(k − 1)W с df = k − 1 (при k > 7) либо по точным таблицам распределения S (при k ≤ 7) . Экспертная структурная модель принимается при W ≥ 0,70 и p < 0,05. При 0,50 ≤ W < 0,70 проводится дополнительный тур согласования по процедуре Дельфи с анонимной обратной связью; при W < 0,50 пересматривается состав индикаторов-кандидатов или группы экспертов.Критерии включения индикатора в структурную модель:
а) медиана экспертной оценки информативности ≥ 4 по 5-балльной шкале при межквартильном размахе ≤ 1;
б) единогласие экспертов в отношении направленности влияния индикатора на L;
в) при наличии обучающей выборки — статистически значимая связь с внешним критерием (|r| ≥ 0,30) либо нагрузка на общий фактор ≥ 0,40
.Критерии исключения:
а) избыточность — |r| > 0,90 с уже включённым индикатором (дублирование фактически удваивает вес соответствующего компонента в среднем геометрическом);
б) противоречивая, по мнению экспертов, направленность влияния;
в) недоступность индикатора для регистрации в типовых условиях применения метода.
В качестве модельного примера в настоящей работе используется латентная переменная «работоспособность человека-оператора», оцениваемая по тесту простой зрительно-моторной реакции (ПЗМР) через три индикатора: среднее время реакции (μ, мс), среднеквадратическое отклонение времени реакций (σ, мс), суммарное число ошибок (ε, шт.). Все три индикатора удовлетворяют критериям включения; парные корреляции между ними в обучающих выборках не превышают 0,6, что исключает избыточность.
2.2. Реперные точки и нормирование: связь с функцией желательности Харрингтона
Ключевым этапом метода является преобразование разнородных регистрируемых показателей в сопоставимую шкалу. Для этого используются реперные точки — пороговые значения, разделяющие диапазон показателя на качественно различные интервалы.
Реперные точки определяются на основе эмпирического распределения показателя в обучающей выборке как значения, соответствующие заданным процентилям. Для четырёхуровневой лингвистической шкалы используются три Реперные точки, соответствующие 10-му, 37-му и 67-му процентилям. Эти процентили не случайны: для нормально распределённого показателя они соответствуют значениям, отстоящим от среднего примерно на -1.28σ, -0.33σ и +0.44σ, что позволяет использовать их как эмпирические аналоги статистических границ нормы и патологии.
Выбор именно этих процентильных границ не является произвольным — он основан на свойствах экспоненциальной функции желательности Харрингтона
. Функция желательности d(y) = exp(−exp(−y)) имеет две характерные точки: точку перегиба при y = 0, d = 1/e ≈ 0,37 (вторая производная d″ = d·e⁻ʸ·(e⁻ʸ − 1) обращается в нуль только при y = 0), в которой функция меняет характер кривизны с выпуклой на вогнутую, и уровень d = 1 − 1/e ≈ 0,63. Эти значения совпадают с границами «неудовлетворительно / удовлетворительно» и «удовлетворительно / хорошо» стандартной шкалы Харрингтона (0,20; 0,37; 0,63; 0,80) и определяют границы между «средним» и «выше среднего», «выше среднего» и «высоким» уровнями. В качестве эмпирической границы верхнего уровня принят 67-й процентиль — ближайшее к d = 0,632 значение, традиционно используемое в квалиметрических шкалах , ; расхождение в 3–4 процентильных пункта лежит внутри интервала выборочной неопределённости реперной точки при n ≤ 200 (см. табл. 4). Нижняя граница (10-й процентиль) соответствует области, в которой функция желательности близка к нулю (d ≈ 0,07–0,10), что маркирует зону неудовлетворительных значений.Соответствие значений функции желательности Харрингтона и оценочных уровней четырехбалльной шкалы
значения d в первом интервале представлены как ориентировочные; точное значение d на границе 10-го процентиля зависит от эмпирического распределения; лингвистические метки mᵢ являются дискретным аппроксимантом функции d и выбраны для удобства интерпретации на четырёхуровневой шкале
Уровень | Процентильный интервал | Значение d Харрингтона | Лингвистическая метка (mᵢ) | Балл |
Низкий | 0,00 – 0,10 | 0,00 – 0,07 | 0,10 | 2 |
Средний | 0,10 – 0,37 | 0,07 – 0,37 | 0,25 | 3 |
Выше среднего | 0,37 – 0,67 | 0,37 – 0,63 | 0,50 | 4 |
Высокий | 0,67 – 1,00 | 0,63 – 1,00 | 0,75 | 5 |
2.3. Функции принадлежности: дискретная и непрерывная формы
В базовом варианте метода используется дискретная (ступенчатая) функция принадлежности, присваивающая каждому лингвистическому интервалу фиксированное значение (0,10; 0,25; 0,50; 0,75). Данные метки не являются точным отображением значений функции Харрингтона, а выступают в качестве дискретного аппроксиманта, обеспечивающего простоту расчётов и однозначность интерпретации. Дискретная форма является некоторым упрощением. Для повышения точности может быть использована непрерывная трапецеидальная или сигмоидальная функция принадлежности. Трапецеидальная функция принадлежности для i-го лингвистического уровня определяется четвёркой параметров (a, b, c, d):
Выбор между дискретной и непрерывной формой функции принадлежности определяется точностью, с которой по обучающей выборке объёма n могут быть установлены границы лингвистических интервалов. Дифференциация внутри интервала (непрерывная форма) содержательна лишь тогда, когда неопределённость положения границ существенно меньше ширины самого интервала. Для количественной оценки выполнено Монте-Карло-моделирование: для каждого n ∈ {20, 30, 50, 100, 200} генерировалось 3000 выборок из нормального, логнормального (σ = 0,5) и экспоненциального распределений; по каждой выборке оценивались реперные точки P₁₀, P₃₇, P₆₇, определялись их положение в шкале процентильных рангов истинного распределения и доля лиц в независимой выборке (N = 2000), отнесённых по выборочным реперным точкам к иному лингвистическому уровню, чем по истинным. Результаты (табл. 4) показывают, что при n ≥ 100 полуширина 95%-го интервала выборочной изменчивости нижней реперной точки (≈ 6 процентильных пунктов) становится меньше ширины наиболее узкого лингвистического интервала (10 пунктов), а доля ошибочной классификации снижается до ≈ 10%; в этих условиях переход к непрерывной функции принадлежности оправдан. При n < 50 неопределённость положения реперных точек (≥ 8 пунктов) сопоставима с шириной интервала или превышает её, доля ошибочной классификации составляет 14–22%, и уточнение оценки внутри интервала не превышает ошибки положения его границ: дискретная форма здесь адекватна точности данных и предпочтительна по простоте расчёта, что важно в задачах экспресс-диагностики. Диапазон 50 ≤ n < 100 является переходным: базовой остаётся дискретная форма, непрерывная допустима при подтверждении устойчивости реперных точек бутстреп-процедурой (раздел 4). Указанные пороги являются ориентировочными; при планировании конкретного исследования критерием служит отношение полуширины бутстреп-интервала реперной точки к ширине прилегающего лингвистического интервала, которое для применения непрерывной формы не должно превышать 0,6.
Устойчивость процентильных реперных точек в зависимости от объёма обучающей выборки: полуширина 95%-го интервала выборочной изменчивости реперной точки, процентильные пункты, и доля ошибочной классификации
Монте-Карло, 3000 репликаций; приведены результаты для нормального распределения; для логнормального и экспоненциального распределений различия по всем показателям не превышают 0,5 пункта (ранговая инвариантность процентильных оценок)
n | P₁₀ | P₃₇ | P₆₇ | Доля ошибочной классификации, % |
20 | 13,7 | 19,7 | 19,0 | 22,1 |
30 | 11,4 | 16,7 | 15,9 | 18,2 |
50 | 8,3 | 13,0 | 12,3 | 14,1 |
100 | 6,1 | 9,2 | 9,3 | 10,2 |
200 | 4,2 | 6,6 | 6,3 | 7,0 |
2.4. Обоснование выбора способа агрегирования
Обобщённый показатель латентной переменной рассчитывается как среднее геометрическое частных оценок μᵢ = μA(xᵢ) ∈ (0, 1], i = 1, …, n:
Выбор среднего геометрического в качестве оператора агрегирования обусловлен следующими математическими и содержательными соображениями:
Свойство асимметричной компенсации. Среднее геометрическое является частным случаем степенного среднего Mp при p → 0. При p = 1 (среднее арифметическое) полная компенсация низкого показателя высоким возможна; при p → −∞ (минимум) компенсация невозможна. Среднее геометрическое обеспечивает промежуточный режим: асимметричную компенсацию, при которой низкий показатель «тянет вниз» общую оценку существенно сильнее, чем высокий — «вверх». Это реализует принцип гипердиагностики: если хотя бы один частный показатель снижен, обобщённая оценка снижается непропорционально сильно
.Инвариантность к масштабу. Среднее геометрическое инвариантно относительно мультипликативных преобразований шкалы, что существенно при работе с безразмерными оценками функции принадлежности.
Корректность при ограниченном диапазоне. Необходимо отметить, что все частные оценки, как и обобщенная оценка (среднее геометрическое) находятся в одинаковом интервале значений (0, 1], что обеспечивает их идентичность и интерпретацию.
Сравнение операторов агрегирования для задачи оценки латентных переменных
Оператор (модель агрегирования) | Формула | Чувствительность к низким значениям | Особенность применения |
Среднее арифметическое (аддитивная модель) | Σxi/n | Низкая | Аддитивная модель предполагает компенсацию (низкое качество по одному параметру можно компенсировать высоким качеством по другому параметру) |
Среднее геометрическое (мультипликативная модель) | (∏xi)1/n | Высокая | Мультипликативная модель предполагает асимметричную компенсацию (реализует принцип гипердиагностики: низкий показатель сильнее тянет оценку вниз, чем высокий — вверх) |
OWA (Ordered Weighted Averaging) или оператор Ягера | Σwi·xσ(i) | Настраиваемая | Модель позволяет за счет «весовых коэффициентов» сделать упор на лучшие результаты (увеличение веса лучшего показателя) или на худшие результаты (увеличение веса худшего показателя) |
Дополнительным аргументом в пользу среднего геометрического является его использование в квалиметрии
и в индексных методах (например, Индекс человеческого развития ООН рассчитывается как среднее геометрическое трёх компонент).3. Сравнительный анализ с альтернативными подходами оценки латентных переменных
Сравнительный анализ показывает, что IRT (Item Response Theory) наиболее часто применяется для создания, анализа и оценки эффективности тестов и опросников; SEM (Structural Equation Modeling) — метод моделирования структурными уравнениями, который объединяет факторный анализ и множественную регрессию; Fuzzy-SEM (Fuzzy Structural Equation Modeling) — гибридный метод статистического анализа, объединяющий моделирование структурными уравнениями (SEM) и теорию нечетких множеств (Fuzzy Set Theory).
Систематическое сравнение экспертно-аналитического метода с методами IRT, SEM и fuzzy-SEM
*для расчёта реперных точек; с ростом n устойчивость оценок возрастает; при n <30 рекомендуется бутстреп-оценка доверительных интервалов для процентилей; ** валидность процентильных реперных точек не зависит от формы распределения; выборочная устойчивость реперных точек в исходных единицах измерения при малых n зависит от плотности распределения в окрестности квантиля (см. раздел 4)
Критерий | IRT | SEM | Fuzzy-SEM | Предлагаемый метод |
Минимальный размер выборки | 200–500 | 200+ | 50–100 | 10–30* |
Тип данных | Дихотомические / порядковые | Непрерывные | Нечёткие | Любые |
Допущение нормальности | Частичное | Да | Нет | Нет** |
Роль эксперта | Минимальная | Умеренная | Умеренная | Ведущая |
Интерпретируемость | Средняя | Сложная | Средняя | Высокая |
Учёт нелинейности | Ограниченно | Ограниченно | Да | Да |
Лингвистическая интерпретация | Нет | Нет | Да | Да |
Возможные программы обработки | Mplus, R (ltm, mirt) | Mplus, AMOS, R (lavaan) | MATLAB (Fuzzy Logic Toolbox), R (lavaan + процедуры фаззификации) | Excel, R, Python (легко реализуем в виде скрипта или пакета) |
Предлагаемый метод не претендует на замену IRT или SEM в задачах, для которых они предназначены (масштабное тестирование, конфирматорные модели, подтверждающие гипотезу о взаимосвязях между латентными и наблюдаемыми переменными). Его ниша — прикладные психологические, психофизиологические, медицинские исследования с ограниченными выборками, гетерогенными показателями и потребностью в интерпретируемых результатах.
4. Ограничения применения
Метод имеет ряд ограничений, которые необходимо учитывать при его применении.
Зависимость от качества экспертных решений. Первый этап (построение структурной модели) целиком зависит от знаний и опыта экспертов. Ошибки в определении структуры латентной переменной (включение нерелевантных индикаторов, пропуск значимых) непосредственно влияют на валидность результата. Для минимизации этого риска рекомендуется привлечение нескольких экспертов с оценкой согласованности их решений.
Устойчивость реперных точек. При малых обучающих выборках (n <30) процентильные оценки реперных точек имеют широкие доверительные интервалы. Для оценки устойчивости рекомендуется бутстреп-процедура (B ≥ 1000 репликаций) с построением 95%-х доверительных интервалов для каждой реперной точки. Дополнительно рекомендуется проводить анализ чувствительности — расчёт итогового индекса при смещении реперных точек на ±1 процентиль. Если оценка меняется кардинально (более чем на 0,1 в абсолютном выражении), результаты считаются нестабильными, и требуется увеличение выборки.
Зависимость устойчивости реперных точек от формы распределения. Процентильная оценка реперных точек не требует допущения нормальности: положение реперных точек в шкале процентильных рангов и доля ошибочной классификации инвариантны к монотонным преобразованиям показателя и, следовательно, к форме его распределения (табл. 4). Однако стандартная ошибка выборочного квантиля в исходных единицах измерения SE(x̂ₚ) ≈ √[p(1 − p)/n] / f(xₚ) обратно пропорциональна плотности распределения f в точке квантиля. Для асимметричных распределений, типичных для психофизиологических показателей (время реакции описывается экс-гауссовым распределением с тяжёлым правым хвостом ), реперные точки, лежащие в области хвоста, оцениваются менее точно: в модельном примере (экс-гауссово распределение времени реакции, μ = 250, σ = 25, τ = 80 мс) при n = 30 полуширина 95%-го интервала составляет ≈ 21 мс для 10-го и ≈ 39 мс для 67-го процентиля. Отсюда два практических следствия:
1) при экспертной коррекции реперных точек в исходных единицах необходимо учитывать их неодинаковую точность;
2) при n < 50 для асимметричных индикаторов целесообразно использовать сглаженную оценку квантилей Харрелла–Дэвиса , обладающую меньшей дисперсией, чем выборочная порядковая статистика, в сочетании с бутстреп-оценкой доверительных интервалов.
Дискретность шкалы. Четырёхуровневая дискретная функция принадлежности может быть недостаточна для ситуаций, когда значение слабо изменяется и может оставаться в пределах одного интервала. Этот эффект критичен при мониторинге динамических процессов, когда изменения показателя происходят внутри одного лингвистического интервала.
Равновесность частных показателей. В базовом варианте метода все частные показатели вносят одинаковый вклад в обобщённую оценку. При наличии содержательных оснований для дифференциации вклада показателей возможна модификация формулы (3) с использованием взвешенного среднего геометрического частных оценок μᵢ:
Для эмпирического обоснования весов wᵢ может быть использован корреляционный анализ частных показателей с внешним критерием (например, с интегральным показателем успешности профессиональной деятельности). Весовой коэффициент для i-го показателя может быть рассчитан как нормированная величина его корреляции с внешним критерием: wᵢ = |rᵢ| / Σ|rⱼ|. Это позволяет адаптировать метод к специфике конкретной прикладной задачи.
5. Заключение
1. Предложен и теоретически обоснован экспертно-аналитический метод оценки латентных переменных, интегрирующий квалиметрический подход с аппаратом теории нечётких множеств. Метод развивает идеи, заложенные в квалиметрии
, и в работах по оценке функционального состояния операторов , , обеспечивая им строгое математическое обоснование через связь с функцией желательности Харрингтона.2. Показана математическая обоснованность выбора реперных точек (10-й, 37-й и 67-й процентили), определяемая свойствами экспоненциальной функции желательности. Обоснован выбор среднего геометрического как оператора агрегирования, реализующего принцип компенсаторной гипердиагностики.
3. Проведено систематическое сравнение метода с IRT, SEM и fuzzy-SEM. Установлено, что метод обладает преимуществами при работе с малыми выборками (n <50), гетерогенными данными и в ситуациях, требующих понятной для практиков интерпретации результатов.
4. Определены границы применимости метода и сформулированы рекомендации по повышению устойчивости результатов (бутстреп-оценка реперных точек, переход к непрерывным функциям принадлежности при n ≥ 100, обоснованный результатами моделирования устойчивости реперных точек, табл. 4).
5 Метод рекомендуется к дальнейшей верификации и валидации с использованием психологических аппаратно-программных комплексов, например аппаратно-программным комплексом «Психофизиолог-НМ» и «ЭГОСКОП» (ООО НПКФ «Медиком МТД»), и дальнейшему практическому внедрению.
