Method for assessing the performance of regional executive authorities
Method for assessing the performance of regional executive authorities
Abstract
Currently, qualitative and quantitative approaches are being used to assess the performance of regional executive authorities. The assessments obtained on their basis, as a rule, include a subjective component. This paper proposes a method that allows obtaining weighting coefficients of evaluation indicators on a formal basis without involving experts. It includes four main stages of calculations: preparation of initial data, including a set of evaluation indicators; formation of a structural matrix of achievements; assessment of the complexity of indicators and achievement structures; and performance assessment. The peculiarity of the method is that it allows one to gain an idea of the relative complexity of solving problems and achieving the goals of socio-economic development.
1. Введение
Оценка деятельности органов исполнительной власти субъектов РФ является многоплановой проблемой , , , связанной не только с работой губернатора и его команды, но и с повышением уровня жизни населения. В Указе Президента РФ и методике, утвержденной постановлением Правительства, отмечается, что предметом оценки деятельности региональных органов власти являются результаты в таких сферах, как экономика, инвестиционная привлекательность, государственное и муниципальное управление, здравоохранение, образование, состояние благоприятной среды проживания. Этими нормативными документами утверждены более 20 целевых показателей (от доверия к власти, численности населения, уровня бедности до темпов роста инвестиций в основной капитал и цифровой зрелости).
Интегральная оценка строится, как правило, на основе свертки показателей. При этом возникает задача выбора весовых коэффициентов. Для этого, как правило, используются экспертные оценки. Но сами эксперты признают, что не всегда располагают достаточной информацией для обоснования рекомендаций. Поэтому методы свертки показателей, не связанные с экспертным выбором весовых коэффициентов, представляют особый интерес. Для решения этой задачи предлагается метод, позволяющий получать весовые коэффициенты для сверки оценочных показателей на формальной основе. Другими словами, два специалиста, проводящие оценку с использованием одного и того же набора оценочных показателей, получат один и тот же результат, имеющий под собой теоретическое обоснование.
2. Краткое описание метода
Набор показателей, формируемых для оценки результативности, определяется исходя из практических целей с учетом регламентирующих документов и адекватных методических рекомендаций. Мы исходим из того, что каждый оценочный показатель соответствует конкретной цели и задаче социально-экономического развития, а его значение отражает уровень достижения этой цели регионом. Оценочный показатель должен удовлетворять следующим условиям: показатель принимает количественные значения; работа органов регионального управления оказывает прямое или косвенное влияние на значение показателя; известно желательное направление изменения значения показателя (рост, или снижение).
На первом этапе формируется матрица нормированных значений оценочных показателей, строки которой соответствуют регионам, столбцы-оценочным показателям. Значения каждого оценочного показателя нормируются со средним ноль и стандартным отклонением единица. Нулевое значение нормированного показателя соответствует значению оценочного показателя по стране. Если нормированное значение оценочного показателя для региона превосходит пороговое значение, то цель считается достигнутой. В ряде случаев, например, при оценке результативности деятельности высших должностных лиц, помимо фактических значений оценочных показателей, задаются их целевые значения. Тогда цель считается достигнутой регионом в том случае, если фактическое значение оценочного показателя лучше целевого.
На основе нормированных значений оценочных показателей формируется структурная матрица достижений A = (akj) с элементами ноль или единица. Элемент матрицы равен единице, если нормированное значение оценочного показателя превосходит пороговое значение. В этом случае оценочный показатель j является результативным для региона k. В противном случае показатель результативным для региона не является и элемент матрицы достижений равен нулю. Вектор-строка матрицы A определяет множество результативных показателей, по которым регион превосходит установленное пороговое значение. Далее мы будем называть этот вектор структурой достижений региона, а матрицу А — структурной матрицей достижений. Рекомендуемым пороговым значением является ноль.
В этом случае фактические значения результативных показателей региона выше значений по стране, или лучше целевых значений. Однако, надо следить за тем, чтобы структурная матрица достижений не содержала строк, состоящих только из нулевых элементов. То есть каждый регион, по которому проводится оценка результативности, должен иметь хотя бы один результативный оценочный показатель. Если для какого-то региона структура достижений состоит только из нулей, то пороговое значение следует понизить до максимального отрицательного значения, при котором каждая строка структурной матрицы содержит хотя бы одну единицу. Таким образом, пороговое значение и структурная матрица достижений определяются однозначно.
В соответствии со схемой расчетов, характерной для оценки экономической сложности , , , строятся две матрицы, однозначно определяемые матрицей структурных достижений. На их основе вычисляются оценки сложности структуры достижений каждого региона и оценки сложности ECIj каждого оценочного показателя. Пусть minECI — минимальное значение оценок ECIj1, ECIj2,... , ECIjm сложности всех m показателей; sumECI — сумма значений оценок сложности показателей. Нормируем оценки сложности показателей по формуле:
ecij = (ECIj-minECI)/(sumECI-m*minECI)
Нормированные оценки имеют неотрицательные значения, их сумма равна единице. Поэтому нормированные оценки ecij можно рассматривать как веса показателей при расчёте оценок результативности структур достижений. Искомая оценка результативности LEk для региона k является суммой весов всех его результативных показателей и может быть рассчитана как скалярное произведение соответствующей строки структурной матрицы достижений на вектор нормированных оценок сложности показателей: LEk = ∑jakjecij. Для любого региона оценка результативности однозначно определяется структурной матрицей достижений и находится в интервале ноль-единица.
3. Апробация метода
Для апробации метода отобраны 29 показателей Росстата за 2021 год (см. таблицу 1), отражающих уровень материального благосостояния населения, демографического и ряда других направлений социально-экономического развития. Этот набор показателей не претендует на полноту, но демонстрирует возможность применения предложенного метода для оценки результативности органов регионального управления в сферах социально-экономического развития, представляющих интерес для исследователей.
Таблица 1 - Оценочные показатели за 2021 год, упорядоченные по значениям весовых коэффициентов
1 | 2 | 3 | 4 | 5 |
№ | Название оценочного показателя | Rj | ECIj | ecij |
1 | Среднемесячная номинальная начисленная заработная плата, руб. | 21 | 0,51868 | 0,1244 |
2 | Денежные доходы на душу населения, руб | 21 | 0,47308 | 0,1160 |
3 | Потребительские расходы на душу населения, руб. | 25 | 0,37773 | 0,0985 |
4 | Оборот розничной торговли на душу населения, руб. | 25 | 0,28643 | 0,0817 |
5 | Инвестиции в основной капитал на душу населения, руб. | 42 | 0,24484 | 0,0740 |
6 | Средний размер назначенных пенсий, руб. | 44 | 0,20088 | 0,0659 |
7 | Объём оказанных бытовых услуг на душу населения, руб. | 29 | 0,1199 | 0,0510 |
8 | Численность населения с денежными доходами ниже прожиточного минимума, % | 33 | 0,06759 | 0,0414 |
9 | Удовлетворённость населения своим материальным положением, в процентах | 42 | 0,04662 | 0,0376 |
10 | Благоустройство жилищного фонда – удельный вес площади, оборудованной канализацией, % | 42 | 0,03477 | 0,0354 |
11 | Удельный вес затрат на инновационную деятельность в общем объёме отгруженных товаров, выполненных работ, услуг, % | 27 | 0,01747 | 0,0322 |
12 | Уровень безработицы (по методологии Международной организации труда), % | 57 | -0,0195 | 0,0254 |
13 | Благоустройство жилищного фонда водопроводом, % | 49 | -0,0239 | 0,0237 |
14 | Число умерших в трудоспособном возрасте, на 100 тыс. населения | 29 | -0,0339 | 0,0227 |
15 | Коэффициент смертности населения в трудоспособном возрасте по основным причинам смертности | 29 | -0,0339 | 0,0227 |
16 | Доля населения, положительно оценивающего состояние межнациональных отношений, в общей численности населения, % | 60 | -0,0564 | 0,0186 |
17 | Уровень травматизма от дорожно-транспортных происшествий, на 100 тыс. населения | 41 | -0,0581 | 0,0183 |
18 | Удовлетворённость населения деятельностью органов государственной власти по противодействию коррупции, %. | 49 | -0,062 | 0,0176 |
19 | Ввод в действие жилых домов на 1000 человек населения, тыс. м2 | 32 | -0,0694 | 0,0162 |
20 | Доля инновационных товаров от общего объёма отгруженных товаров, выполненных работ, услуг, % | 36 | -0,0839 | 0,0135 |
21 | Удовлетворённость населения оказанной медицинской помощью, % | 45 | -0,0843 | 0,0135 |
22 | Ожидаемая продолжительность жизни при рождении | 33 | -0,0903 | 0,0124 |
23 | Число посещений музеев на 1000 человек населения, ед. | 28 | -0,1039 | 0,0098 |
24 | Уровень инновационной активности организаций, %. | 36 | -0,1074 | 0,0092 |
25 | Удовлетворённость населения Российской Федерации качеством предоставления услуг в сфере туризма, % | 40 | -0,1152 | 0,0078 |
26 | Площадь жилищ, приходящихся в среднем на одного жителя, м2 общей площади | 50 | -0,1265 | 0,0057 |
27 | Доля населения, положительно оценивающего состояние межконфессиональных отношений, в общей численности населения, % | 62 | -0,1325 | 0,0046 |
28 | Средний возраст постоянного населения на начало года – женщины, лет | 49 | -0,1566 | 0,0002 |
29 | Средний возраст постоянного населения на начало года – мужчины, лет | 46 | -0,1574 | 0,0000 |
Структурная матрица достижений построена для 85 регионов по 29 оценочным показателям при пороговом значении -0,2. Оценки ECIj экономической сложности показателей приведены в столбце 4 таблицы 1. Значения ecij весовых коэффициентов показателей представлены в столбце 5 этой таблицы. В таблице 1 показатели упорядочены по убыванию их весовых коэффициентов.
По аналогии с далее на рис. 1 показана зависимость весовых коэффициентов оценочных показателей от их распространенности — числа регионов, в которых показатель является результативным. Характеристики Rj распространенности показателей приведены в столбце 3 таблицы 1. Высокие весовые коэффициенты имеют показатели с низкой распространенностью на уровне 21–23. В том числе — отражающие уровень материального благосостояния населения. Преодоление порогового значения по этим показателям доступно для относительно небольшого числа регионов. С ростом распространенности показателя значение его весового коэффициента имеет тенденцию к снижению. Для 85 регионов получены оценки результативности регионального управления. Ведущие позиции в рейтинге результативности занимают Московская область, г. Москва, г. Санкт-Петербург, Республика Татарстан. У этих регионов более 26 результативных показателей при достаточно высоком уровне сложности структур достижений.
На рисунке 2 точки, соответствующие регионам, представлены в пространстве двух характеристик: число результативных показателей (ось абсцисс), оценка результативности (ось ординат). Наблюдается тенденция роста оценок результативности с ростом числа результативных показателей, что вполне естественно. В то же время в центральной части рисунка наблюдаются точки, соответствующие регионам с небольшим числом результативных показателей и относительно высокими оценками результативности. В их числе Сахалинская область, Магаданская область, Мурманская область. В этих регионах 16–17 результативных показателей, среди которых показатели с высокими оценками сложности.
Рисунок 1 - Зависимость весовых коэффициентов оценочных показателей (ось ординат) от их распространенности (ось абсцисс)
Примечание: точка соответствует оценочному показателю; источник: расчеты по данным Росстата за 2021 год
Рисунок 2 - Зависимость оценки результативности (ось ординат) от числа результативных показателей (ось абсцисс)
Примечание: точка соответствует региону; источник: расчеты по данным Росстата за 2021 год
4. Заключение
Предложенный метод может использоваться в различных приложениях. Одним из направлений его практического применения, как уже отмечено выше, является оценка эффективности деятельности высших должностных лиц субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации на основе оценочных показателей, установленных Указом Президента РФ от 28.11.2024 г. № 1014. Мы рассматриваем также возможность использования метода для оценки качества условий жизни с использованием набора оценочных показателей, достаточно полно характеризующих основные сферы социально-экономического развития регионов. Еще одним из возможных направлений расширения сферы применения метода является оценка эффективности фундаментальных научных исследований с учетом трудозатрат, необходимых для их выполнения.