THE FORMATION OF INDICATORS FOR ASSESSING THE PERFORMANCE OF HEALTH AND SOCIAL SERVICES

Митихин В.Г.¹ , Митихина И.А.²

¹ORCID: 0000-0002-9502-5395, кандидат физико-математических наук, ведущий научный сотрудник, ФБГНУ «Научный центр психического здоровья РАН», ²ORCID: 0000-0002-9937-228Х, кандидат медицинских наук, ведущий научный сотрудник, ФБГНУ «Научный центр психического здоровья РАН»

ФОРМИРОВАНИЕ ИНДИКАТОРОВ ДЛЯ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ МЕДИКО-СОЦИАЛЬНЫХ СЛУЖБ

Аннотация

В работе предлагается системный подход для формирования интегральных индикаторов и их использования для анализа информации мониторинга и оценки деятельности медико-социальных служб различного уровня. Системный подход предполагает комплексное изучение факторов процессов, позволяющее отразить нелинейные связи при взаимодействии этих факторов. Анализ информации и методика формирования индикаторов основаны на процедурах системного анализа, в частности, использован анализ размерностей исходных данных. Методы теории анализа подобия и размерностей позволяют строить математические модели с учетом инвариантности явлений и процессов.

Ключевые слова: индикатор, системный анализ, медико-социальный мониторинг, анализ размерностей.

Mitikhin V.G.¹, Mitikhina I.A.²

¹ORCID: 0000-0002-9502-5395, PhD in Physics and Mathematics, leading researcher, Mental health research center, ²ORCID: 0000-0002-9937-228X, MD, leading researcher, Mental health research center

THE FORMATION OF INDICATORS FOR ASSESSING THE PERFORMANCE OF HEALTH AND SOCIAL SERVICES

Abstract

This paper proposes a systematic approach for the formation of integrated indicators and their use for analysis of monitoring information and evaluation of medical social services at various levels. The system approach involves comprehensive study of factors and processes that reflect nonlinear relationships in the interaction of these factors. Information analysis and methods of forming the indicators based on the procedures of system analysis, in particular, used dimensional analysis of the original data. Methods of analysis theory of similarity and dimensions allow to build mathematical models taking into account the invariance of phenomena and processes.

Keywords: indicator, system analysis, medico-social monitoring, analysis dimensions.

Введение

Рассмотрим процедуры формирования интегральных индикаторов (на основе базовых размерных индикаторов) и их использования для анализа исходной информации мониторинга и оценки деятельности служб разного уровня.

Изложение начнем с анализа примера попытки создания интегрального индикатора для оценки деятельности муниципальных систем здравоохранения. Пример взят из работы [1] и анализ этой попытки создания интегрального индикатора поможет показать проблемы, возникающие при формировании интегральных индикаторов на основе только интуитивных представлений и вне рамок системного анализа исходной информации.

Исходная информация была получена авторами [1]  на основе анкетирования руководителей здравоохранения городов России. Анкетирование инициировала Ассоциация «Муниципальное здравоохранение» Союза российских городов и результаты анкетирования обсуждались на семинаре-совещании в г. Тверь, посвященном проблемам муниципального здравоохранения. Предварительный анализ данных привел к следующему набору исходных показателей [1]: 1) Естественный прирост населения. 2) Обеспеченность врачами на 10 000 населения. 3) Обеспеченность койками на 10 000 населения. 4) Средняя длительность пребывания больного на койке. 5) Госпитальная летальность. 6) Консолидированный бюджет здравоохранения (бюджет + ОМС). 7) Средняя зарплата медицинских работников. 8) Удельный вес бюджета здравоохранения в бюджете города. 9) Затраты бюджета здравоохранения на 1 жителя за 2000 год. 10) Доля платных услуг в консолидированном бюджете. 11) Расходы на платные медицинские услуги на 1 жителя в 2000 г. 12) Объем платных медицинских услуг.

Как отмечают авторы [1] предварительный анализ показал, что складывается чрезвычайно пестрая картина на основе этих показателей по всем муниципальным образованиям, которая не позволяла им получить сравнительную характеристику состояния систем муниципального здравоохранения в связи с отсутствием (на их взгляд) адекватных методик. В этой ситуации авторы [1] сделали попытку ввести интегрированный показатель – индекс «Сравнительного благополучия» (I) муниципального здравоохранения на основе следующей формулы:

I = ( Б*В) / Л    (1)

где Б – затраты бюджета на 1 жителя в году; В – обеспеченность врачами на 10 000 населения; Л – госпитальная летальность.

Авторы не скрывают, что при создании этого индекса они действовали интуитивно и полезно проанализировать их соображения ([1], стр. 48-49): «Предлагается формула, составные части которой несут максимально возможную для потребителя медицинской услуги смысловую нагрузку ….С точки зрения потребителя медицинских услуг наиболее актуальной является задача – определить город, в котором государство потратит на меня (потребителя) больше денег, количество и качество врачебного персонала будет как можно больше и лучше (обеспеченность врачами) и вероятность выйти живым из больницы будет выше (больничная летальность)».

Мы специально цитируем эти соображения, так как из них следует, что исходная информация, на базе которой пытаются создать интегральный индикатор, не подвергалась системному анализу. Конкретно наши замечания основаны на следующих соображениях:

А) Во-первых, формула (индекс) нужна не потребителю медицинских услуг, а организаторам здравоохранения. Актуальной для потребителя задачей является получение специализированной медицинской помощи (желательно в своем городе) и потребитель, скорее всего в первую очередь, будет учитывать при этом, как быстро он сможет поправиться (длительность лечения) с определенными гарантиями наименьшего риска (летальность).

Б) Во-вторых, следует провести системный анализ набора исходных показателей с точки зрения полноты и адекватности описания ситуации.

Основная часть

Начнем с анализа показателей, на основе которых строится индекс «благополучия» (1), а также проанализируем и другие показатели из представленного выше набора:

1. Показатель: затраты бюджета на 1 жителя в год (Б) – является размерной величиной (руб./1 жит./1 год), т. е, его значение зависит от выбора единиц измерения. Например, учетом формулы (1), значение индикатора будет зависеть от выбора денежной единицы, которая в силу инфляционных процессов подвержена изменениям. Для международных сравнений значений такого индекса потребуется знание курса валют, который также меняется во времени. То есть, размерные индикаторы вносят определенные осложнения в процедуры расчета и сравнения их значений (как в динамическом, так и в межрегиональном плане). Отметим, что выход был найден в начале ХХ века, когда были созданы анализ размерностей и теория подобия, на основе которых в задачах моделирования процессов появились безразмерные величины (безразмерные факторы-индексы) (см., например, [2, 3]). Опираясь на основные положения этого подхода, получаем важный вывод, подтверждающий наши соображения, приведенные выше: интегральные индексы следует формировать как безразмерные величины.
2. Показатель: обеспеченность врачами на 10 000 населения (В) – также является размерной величиной (врачи/население/10 000). Отметим, что значение этого показателя тесно связано со штатной структурой служб здравоохранения и с возрастной структурой населения соответствующего региона. То есть, нужно учитывать региональные нормативные значения, и, следовательно, использовать показатель относительной обеспеченности врачами.
3. Госпитальная летальность (Л) – является безразмерной величиной (%), но этот показатель можно корректно использовать в целях сравнения лишь тогда, когда есть уверенность в абсолютно идентичном составе пациентов учреждений здравоохранения различных муниципальных образований. Кроме того, известно, что показателем летальности можно управлять. Поэтому колебания больничной летальности следует анализировать вместе с данными о внебольничной смертности и, по возможности, с данными, характеризующими тяжесть пролеченных больных. Далее, в процедурах, связанных с выбором или сравнением на основе значений некоторого показателя желательно опираться на относительные значения этого показателя. Сравнение на основе абсолютных значений показателя могут нарушить объективность сравнения, ибо как уже было отмечено, нужен учет структурных особенностей состава пациентов. Поэтому опираться следует на показатель относительной летальности, при расчете которой используется средневзвешенное значение вероятных потерь, связанных с медицинскими технологиями в рамках каждой муниципальной системы здравоохранения. Наконец, к вопросу о вычислительной погрешности использования значений показателя летальности в формуле индекса благополучия. Так как значения Л по данным [1] лежат в пределах 0.5-2% и при расчете индекса (1) нужно выполнять деление на величину Л, то с учетом отмеченной выше «управляемости» величины Л погрешность получаемых значений индикатора (1) существенно возрастает.
4. Средняя длительность пребывания больного на койке (Д) – размерная величина (день). Опираясь на соображения, приведенные по летальности, заметим, что длительность также является управляемым показателем и его значение следует корректировать, во-первых, за счет информации о незапланированных регоспитализациях и, во-вторых, с учетом структуры состава пациентов. Учет структуры состава пациентов приводит к необходимости введения показателя относительной длительности (см., например, [4, 5]) пребывания больного на койке. При расчете относительной длительности используется средневзвешенное, нормативное значение длительности (с учетом региональных особенностей).
5. При рассмотрении показателей, связанных с материальными ресурсами (обеспеченность койками, зарплата медицинских работников, консолидированный бюджет здравоохранения, расходы на платные услуги, объем платных услуг), следует учитывать особую важность относительных показателей при решении задач межрегионального сравнения медико-социальных систем и здесь необходимы экспертные оценки [6].
6. Замечание по показателю – естественный прирост населения: не умаляя заслуг влияния здравоохранения на этот показатель, напомним, что в наибольшей степени его изменение связано с характеристиками структуры населения и общими социо-экономическими условиями и традициями проживания.

Перейдем теперь к анализу значений интегрального индекса «благополучия» (1). Рассмотрим пример расчета этого индекса для двух городов на основе данных работы [1]:

1. Подставляя в формулу индекса исходные данные, (не обращая пока внимание на размерности этих величин) для г. Сургут (1-ое итоговое место): Б = 5370 ;  В = 40 ; Л = 0,7      , (то есть, так будет действовать рядовой пользователь, необремененный знаниями по анализу размерностей), получаем: I₁ = 5370*40 / 0,7 ≈ 306857 2. Аналогично расчет для г. В.Новгород (место во второй половине): Б = 601 ; В = 32,6 ; Л = 1,6   , дает: I₂ = 601*32,6 / 1,6 ≈ 12245

Мы специально привели эти арифметические вычисления, так как авторы в работе [1] приводят значения индексов ровно в 100 раз меньше!, т.е., порядка 3070 и 122 соответственно. Скорее всего, авторы пытались все же учесть размерности величин Б и Л, но запутались в этом, так как, если брать величину Б в расчете на 10 000 населения (как и у величины В), то получим астрономические значения индексов «благополучия» порядка 3 миллиарда и 122 миллиона, соответственно. Если же, наоборот, брать величину В (обеспеченность врачами) в расчете на 1 жителя, т.е., брать, например, В = 0,004 и В = 0,00326, то значения индекса будут порядка 30,7 и 1,22 соответственно. Можно еще вспомнить, что по международному стандарту обеспеченность врачами измеряется в расчете на 100 000 населения, но и здесь значения индекса будут либо десятки миллиардов, либо спускаться ниже единицы, да еще при этом появляются заботы о переводе денежной единицы по курсу соответствующей валюты.

Проведенный анализ еще раз подтверждает необходимость системного анализа исходной информации и концептуального проектирования алгоритмов для решения проблем мониторинга состояния сложных систем и, в частности, построения и использования интегральных индексов состояния систем и служб здравоохранения.

Переходя теперь к построению интегрального индекса, значения которого основаны на конечных результатах деятельности систем (или служб), назовем, прежде всего, показатели госпитальной летальности и средней длительности пребывания больного на койке. Для оценки работы региональной системы здравоохранения, как мы уже отмечали, должны вычисляться средние относительные значения летальности и длительности. Расчет должен проводиться на основе абсолютных значений различных видов летальности (и длительности пребывания на койке): операционной, по отдельным нозологиям, по отдельным категориям пациентов и т.д., с учетом нормативных абсолютных значений этих показателей, учитывающих региональные особенности структуры населения и особенности функционирования медико-социальных систем.

Исходя из этих концептуальных соображений, можно предложить следующее выражение (формулу) для расчета интегрального индекса «потерь» региональных систем (служб) здравоохранения:

I_рп = α₁*Л₁ + α₂*Д₁   ,

где Л₁ , Д₁ – относительные значения показателей (летальность и длительность), вычисленные с учетом региональных стандартов для этих показателей;

α₁ , α₂ – нормированные весовые коэффициенты показателей Л и Д, определяемые на основе экспертных оценок, при этом:   α₁ + α₂ = 1  .

Если же при расчете относительных значений показателей Л и Д используются федеральные (или международные) стандарты для этих показателей, то можно ввести интегральный индекс федеральных (международных) «потерь»:

I_фп = α₁*Л₂ + α₂*Д₂   ,

где Л₂ , Д₂ – относительные значения показателей, вычисленные с учетом федеральных (международных) стандартов для этих показателей;

Вычисление нормированных весовых коэффициентов можно выполнить на основе процедур метода анализа иерархий [6]. Здесь лишь укажем, что термины: региональный, федеральный, международный – уже явно указывают на иерархию связей и соотношений.

Отметим теперь, что для введенных интегральных индексов весьма просто оценивается область из значений. Действительно, учитывая, что относительные значения показателей в штатной ситуации равны 1, получаем для (штатных) значений интегральных индексов тоже значение 1. В случае хорошего (плохого) функционирования системы получаем области значений в несколько раз меньшие (большие) 1. То есть, практически область значений интегральных индексов лежит от 0 до 10, что представляет удобства, как при контроле правильности вычислений, так и при интерпретации полученных результатов и их сравнении.

Ресурсные показатели: обеспеченность врачами, обеспеченность койками, затраты бюджета, средняя зарплата медицинских работников и другие показатели, являются факторами в борьбе за уменьшение «потерь» системы (службы) здравоохранения. Если перевести эту фразу на язык математики, то можно записать:

I_п = F( Б , В , З , К , …)   ,   (2)

где F – обозначение функциональной связи между индексом «потерь» I_п и показателями: Б – затраты бюджета здравоохранения на 1 жителя за год; В – обеспеченность врачами на 10 000 населения; З – средняя зарплата сотрудников; К – обеспеченность койками на 10 000 населения и т.д.

Основной результат анализа размерностей в изучении функциональных связей состоит в том, что аргументами объективной функциональной связи должны быть безразмерные параметры, построенные на основе исходных размерных показателей.

Системный подход предполагает комплексное изучение факторов процессов, позволяющее отразить нелинейные связи при взаимодействии этих факторов с учетом инвариантности явлений и процессов по отношению к изменению единиц измерения. Смысл фразы: «инвариантность явлений и процессов …» в рамках нашей темы состоит в том, что функционирование систем (служб) здравоохранения не зависит от выбираемых единиц измерения показателей и реализуется в целом аналогично (подобно) в разных регионах (странах). Методы теории анализа подобия и размерностей (см., например, [2]) позволяют строить математические модели с учетом отмеченной инвариантности явлений и процессов. Конкретно этот подход основан на так называемой π – теореме:

Пусть имеется функциональная связь:

a = F(a₁, a₂,…, a_k, a_k+1,…, a_n)

между  n + 1 размерными величинами  a, …, a_n , где величины  a₁,…, a_k имеют независимую размерность, и пусть эта связь не зависит от выбора системы единиц измерения. Тогда эта функциональная связь может быть записана как

π = F(1,…,1, π ₁,…, π _{n –  k})

Т.е., в виде соотношения между  n + 1 – k  величинами   π, π ₁,…, π _{n –  k} , представляющими собой безразмерные комбинации из  n + 1  размерных величин  a, a₁,… a_n .

В частности, для рассматриваемого примера одной из таких безразмерных комбинаций является:

π₁ = В*З / Б         ,

В результате имеем вместо трех исходных (размерных) показателей один π₁ , а это не только уменьшает число аргументов модели, но и снимает проблему наличия корреляционных связей между В, З и Б. Безразмерный параметр (индикатор) π₁ допускает простую интерпретацию: так как выражение (В*З*12) соответствует средним затратам в год на оплату труда сотрудников, а выражение (Б* 10⁴) средним затратам (в год на 10⁴ жителей) на средства и условия труда сотрудников, то π₁  фактически показывает соотношение этих средних затрат. Опираясь на данные, приведенные в [1] можно оценить, что значения π₁ лежат в пределах от 0.1 до 1.0 . Качественные рассуждения с учетом структуры индикатора π₁ показывают, что плохо (с точки зрения «потерь») иметь как малые значения π₁ (соответствуют недооценке труда медицинских работников), так и большие значения π₁ (соответствуют малым затратам бюджета на средства труда медицинских работников). То есть, объективно существует оптимальное соотношение (оптимальное значение π₁) между этими затратами, которое в целом, при прочих равных условиях функционирования системы здравоохранения, не зависит от региона, а также от источника финансирования.

Заключение

Описанные процедуры формирования индикаторов позволяют:

1) анализировать исходные наборы показателей на полноту; 2) в случае неполных наборов исходных показателей создавать полные наборы, т.е., повысить адекватность моделей мониторинга и сравнительного анализа исследуемых процессов; 3) сократить размерность математических моделей (т.е., сократить число факторов моделей) и повысить точность прогнозирования; 4) проводить объективное сравнение результатов, полученных для разных регионов в одной стране, а также проводить такое сравнение на международном уровне.

Литература

1. Адамян А.Т., Диденко Н.В., Угольников А.Л. Попытка создания новых показателей для оценки деятельности систем здравоохранения: индекс благополучия. В сборнике: Библиотека экономиста учреждения здравоохранения. Анализ и оценка деятельности учреждений здравоохранения, их подразделений и служб. – М.:ГРАНТЪ. 2002. С. 47-55.
2. Самарский А.А., Михайлов А.П. Математическое моделирование. – М.: Наука. Физматлит. 1997. 320 с.
3. Хантли Г. Анализ размерностей. – М.: Мир. 1970. 172 с.
4. Ястребов В.С., Митихина И.А., Митихин В.Г. К методологии построения медико-демографических моделей для динамической оценки психического здоровья населения. // Психиатрия. – 2008. № 2. С. 38-47.
5. Митихина И.А., Митихин В.Г., Творогова Н.А., Ястребов В.С. Модели для некоторых показателей оценки деятельности российской службы психического здоровья. // Журнал неврологии и психиатрии им. С.С. Корсакова. – 2012. № 112 (6). С. 60-63.
6. Ястребов В.С., Митихин В.Г. Оценка деятельности и перспектив развития психиатрических служб на основе иерархического анализа. // Журнал неврологии и психиатрии им. С.С. Корсакова. – 2005. № 105 (4). С. 61-67.

References

1. Adamyan A.T., Didenko N.V., Ugol'nikov A.L. Popytka sozdaniya novykh pokazatelei dlya otsenki deyatel'nosti sistem zdravookhraneniya: indeks blagopoluchiya [Attempt to create new indicators for assessing the performance of health systems: the index of well-being]. V sbornike: Biblioteka ekonomista uchrezhdeniya zdravookhraneniya. Analiz i otsenka deyatel'nosti uchrezhdenii zdravookhraneniya, ikh podrazdelenii i sluzhb. [In the collection: the Library of the economist health care. Analysis and evaluation of healthcare institutions, their departments and services]. – :GRANT"". 2002. P. 47-55. [in Russian]
2. Samarskii A.A., Mikhailov A.P. Matematicheskoe modelirovanie [Mathematical modeling]. – M.: Nauka. Fizmatlit. 1997. 320 p. [in Russian]
3. Huntley H.E. Dimensional analysis. Dover Publications, Inc., N.Y. 1967. 174 p.
4. Yastrebov V.S., Mitikhina I.A., Mitikhin V.G. By the methodology of medical-demographic models for dynamic assessment of mental health. Psikhiatriya [Psychiatry]. – #2 (32). P. 38-47. [in Russian]
5. Mitikhina I.A., Mitikhin V.G., Tvorogova N.A., Yastrebov V.S. The models for some indicators of assessment of Russian health services performance. Zhurnal nevrologii i psikhiatrii imeni S.S. Korsakova [Journal of neurology and psychiatry named after S. S. Korsakov]. – 2012. # 112 (6). P. 60-63. [in Russian]
6. Yastrebov V.S., Mitikhin V.G. Estimation of activity and prospective development of psychiatric services on the basis of hierarchic model principles. Zhurnal nevrologii i psikhiatrii imeni S.S. Korsakova [Journal of neurology and psychiatry named after S. S. Korsakov]. # 105 (4). P. 61-67. [in Russian]