ИСПОЛЬЗОВАНИЕ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ РАНЖИРОВАНИИ МЕРОПРИЯТИЙ ПО ПОВЫШЕНИЮ УРОВНЯ КАЧЕСТВА ТЕХНИЧЕСКОГО ОБСЛУЖИВАНИЯ И РЕМОНТА ТРАНСПОРТНЫХ СРЕДСТВ

Архирейский А.А.¹, Султанов Н.З.²

¹ORCID: 0000-0003-2289-2583, Соискатель, ²доктор технических наук, профессор, Оренбургский государственный университет

ИСПОЛЬЗОВАНИЕ ЭКСПЕРТНЫХ ОЦЕНОК ПРИ РАНЖИРОВАНИИ МЕРОПРИЯТИЙ ПО ПОВЫШЕНИЮ УРОВНЯ КАЧЕСТВА ТЕХНИЧЕСКОГО ОБСЛУЖИВАНИЯ И РЕМОНТА ТРАНСПОРТНЫХ СРЕДСТВ

Аннотация

Рассмотрено применение теории важности критериев к многокритериальному выбору мероприятий по повышению уровня качества процессов технического обслуживания и ремонта транспортных средств. Обосновано использование метода парных сравнений для получения и анализа качественной информации о важности критериев, используемых в системы добровольной сертификации услуг на автомобильном транспорте. Приведен пример выбора комплекса мероприятий по повышению уровня качества для конкретного предприятия автомобильного сервиса.

Ключевые слова: повышение качества, автосервис, экспертные оценки.

Arkhireiskiy A.A.¹, Sultanov N.Z.²

¹ORCID: 0000-0003-2289-2583, External Doctorate Student, ²PhD in Engineering, Professor, Orenburg State University

USE OF EXPERT ESTIMATES IN THE RANKING OF ACTIVITIES AIMED AT INCREASING THE LEVEL OF QUALITY OF MAINTENANCE AND REPAIR OF VEHICLES

Abstract

The article considers the application of the theory of the criteria importance to the multi-criteria choice of measures aimed at improving the quality level of maintenance and repair of vehicles. The use of the method of paired comparisons for obtaining and analyzing qualitative information about the importance of the criteria used in the system of voluntary certification of services in road transport is justified. An example of the choice of a set of measures aimed at improving the level of quality for a particular automobile service enterprise is given.

Keywords: improvement of quality, car service, expert estimates.

Возрастающая конкуренция и достаточно сильная дифференциация услуг автосервиса ведет к снижению роли цены в выборе поставщика. На первый план выходит качество технического сервиса, которое включает качество обслуживания автовладельцев и качество процессов технического обслуживания и ремонта автомобилей (ТО и Р А).

Важную роль в повышение качества технологических процессов играет обеспечение их необходимыми видами ресурсов, количество которых ограничено. В связи с разнообразием процессов, процедур и операций выполняемых при ТО и Р А сложно использовать точные количественные оценки при выборе мероприятий повышающих уровень качества. Для принятия подобных решений часто используют знания и мнения экспертов. При обработке мнений экспертов необходимо использовать математический аппарат и процедуры, уменьшающие уровень субъективизма экспертных оценок [1].

Известен подход к ранжированию мероприятий по увеличению доходов предприятия автосервиса путем опроса экспертов [2]. Каждому эксперту предлагали присвоить мероприятию ранг в соответствии с влиянием на увеличение дохода предприятия. При обработке ранжировок рассчитывался коэффициент конкордации (коэффициент согласия Кендэла). На основе его значения, говорили о согласованности мнений экспертов. Мероприятия ранжировали по значению суммы рангов.

В отличие от ранжирования, при парном сравнении мероприятий можно получить более точное отражение предпочтений экспертов. При этом способе, каждый раз эксперту приходится делать выбор всего из двух мероприятия, что проще, чем упорядочить несколько. Метод парных сравнений привлекает больший объем информации, чем ранжирование [3]. Например, при сравнении шести мероприятий метод парных сравнений даст 6(6 - 1)/2 = 15 бит, тогда как ранжирование только log₂(6!) = 9,49 бит информации. Больший объем привлекаемой информации позволит повысить обоснованность выбора мероприятия по повышению качества.

Качество является сложным свойством, включающим много аспектов. Поэтому сравнивать мероприятия по степени их влияния на уровень качества напрямую эксперту очень сложно. В связи с этим, экспертам необходимо предлагается производить оценку помощи критериев, характеризующих определенные аспекты качества.

Предложена методика ранжирования мероприятий по повышению уровня качества процессов ТО и Р А [4], включающая следующие этапы:

• разработка массива мероприятий;
• объединение мероприятий в комплексы;
• оценка комплексов мероприятий по принятой системе критериев;
• анализ о качественной важности критериев;
• ранжирование мероприятий методами теории важности критериев.

Принятие решения о выборе мероприятий повышающих уровень качества процессов ТО и Р А необходимо начинать с формирования массива отдельных мероприятий. Мероприятия должны быть направлены на максимальное решение проблем, обнаруженных при изучении недостатков в ресурсном обеспечении процессов ТО и Р А. Число конкретных мероприятий должно быть не менее 10-12. Затем эти мероприятия необходимо объединить в 3-4 комплекса мероприятий, примерно соизмеримых по стоимости реализации и эксплуатации.

Ранжировать комплексы мероприятий по влиянию на повышение уровня качества предложено с помощью критериев (К1, …, К6), используемых в органе по сертификации услуг на автомобильном транспорте, действующем на базе транспортного факультета Оренбургского государственного университета [5], [6]. Значения критериев определяются опросом экспертов и характеризуют: организационно-технического обеспечения производства (К1); состояние зданий и сооружений (К2); технологическое оборудование и оснастку (К3); кадровое обеспечение (К4); состояние контрольно-диагностического, испытательного оборудования и средств измерений (К5); нормативную и технологическую документацию предприятия (К6).

К особенностям критериев можно отнести следующее:

• критерии характеризуют различные факторы, определяющие уровень качества процессов ТО и Р А;
• критерии хорошо зарекомендовали себя в период действия обязательной сертификации услуг по техническому обслуживанию и ремонту автомототранспортных средств [5];
• критерии являются однородными, то есть имеют общую шкалу измерений.

К отрицательным свойствам данных критериев можно отнести:

• значения критериев определяются в результате опроса экспертов, что снижает их объективность;
• значения критериев измерены в порядковой шкале, что накладывает ограничения на используемые методы обработки;
• достаточно высокий уровень парной корреляции значений различных критериев.

Согласно методике [4] каждый комплекс мероприятий описывается векторной оценкой из значений шести критериев:

КМ(j) = (К1, К2, К3, К4, К5, К6),

где  Кi – значение i-го критерия;

j – количество комплексов мероприятий (КМ).

В случае, когда производится ранжирование небольшого числа комплексов мероприятий (3-4 мероприятия) достаточно упорядочить их по каждому критерию. Номер места полученного комплексом мероприятий, ранжированным по определенному критерию, и будет значением этого критерия. Обобщенное ранжирование для нескольких экспертов можно получить, используя квантильный метод [7].

Выбор оптимальной альтернативы по многим критериям, часто производят комплексным методом, по значению взвешенной линейной свертки этих критериев [8]. Важным ограничением использования взвешенной линейной свертки является взаимная независимость значений критериев. Это условие не выполняется в случае используемой системы критериев [9].

Выбор оптимального комплекса мероприятий предложено производить на основе методов теории важности критериев, развиваемой в работах профессора В.В. Подиновского [10]. Основным принципом теории важности критериев является принцип Эджворта-Парето. В соответствии с ним векторная оценка КМ(j) оптимального комплекса мероприятий, должна принадлежать множеству парето-оптимальных оценок [10]. Таких оценок может быть несколько. Для выбора единственного комплекса мероприятий привлекают дополнительную информацию о важности критериев. Эту информацию можно получать методом парных сравнений [11]. Для случаев, когда эксперты могут полностью заполнить матрицу парных сравнений, информацию можно получать путем вычисления собственных значений и векторов [12].

Используя полученную информацию, можно получить ранжирование комплексов мероприятий по всем критериям методом теории важности критериев [10].

Рассмотрим использование предложенной методики для конкретной ситуации. В связи с участием в торгах на оказание услуг бюджетному предприятию были разработаны комплексы мероприятий направленных на повышение уровня качества процессов ТО и Р А. Векторные оценки двух из них принадлежали к множеству парето-оптимальных: КМ(1) = (2, 2, 1, 2, 1, 2); КМ(2) = (1, 2, 2, 1, 2, 2).

Первый комплекс мероприятий предполагал организацию повышения квалификации персонала, приобретение лицензионного комплекта программ для организации документооборота и приобретение установки для очистки салона автомобиля. Второй комплекс мероприятий предполагал приобретение ультразвуковой установки для очистки форсунок двигателя, приобретение прибора для проверки технического состояния тормозной системы и оснащение рабочего поста терминалом, связанным с компьютером мастера приемщика.

При отсутствии информации о качественной важности критериев (W = 0), комплексы мероприятий неразличимы по Парето. Для ранжирования комплексов мероприятий методом теории важности критериев проведем исследование важности критериев путем обработки мнений экспертов методом парных сравнений.

При опросе возникали ситуации, когда в ответах экспертов проявлялись противоречия, так называемые циклические триады [11]. Важно понимать, можно ли считать число таких триад в матрице парных сравнений случайным или нет. Выяснить это возможно используя основные положения теории ранговых корреляций [13].

В результате опроса четырех экспертов были получены следующие значения числа предпочтений i-го критерия над остальными аi: а1 = 3,5; а2 = 10,5; а3 = 19; а4 = 7,5; а5 = 17; а6 = 2,5. Проверка согласованности мнений экспертов проводилась по значению коэффициента согласия Кендэла. Для этого по исходным таблицам парных сравнений было рассчитано число совпадений мнений между парами экспертов (å). Далее по значению å для четырех экспертов и шести критериев рассчитано значение коэффициента согласия u = 0,68. Проверку статистической существенности значения коэффициента согласия осуществим с помощью распределения c². Для этого рассчитаем значение c² и число степеней свободы n по рекомендациям Кендэла [13]. Полученные значения c² = 106 и n = 45 соответствуют значению вероятности P (106; 45) = 0,78 × 10^-7, что много меньше уровня значимости a = 0,01. Следовательно, гипотеза о несогласованности мнений экспертов отвергается на высоком уровне статистической значимости.

Для принятия решения о выборе оптимального комплекса мероприятий из двух парето-оптимальных необходимо определить важность критериев. По значениям критериев К2 и К6 эти комплексы мероприятий не различимы. Важность критериев К3 и К5 значительно больше важности критериев К1 и К4. Проведем статистическую проверку наличия значимых отличий между критериями указанными критериями. Для этого используем рекомендации Старкса и Дейвида [14]. Выдвигаем гипотезу H₀, что важности К3 и К5 равны. Принимаем уровень значимости a = 0,05, рассчитываем критическую разность m_C = 1,64×(6×4/2)^0,5 + 0,5 = 6,181 и округляем его до ближайшего целого числа в большую сторону. Разница ïа3 – а5ï = 2 < 7, это означает, что гипотеза H₀ не отвергается. Аналогично проверяем гипотезы о значимости разницы между К1 и К4 и, например, К3 и К1. В результате получаем информацию важности критериев W = {К5 » К3  К1 » К4}. Используя полученную информацию можно видеть, что векторная оценка первого комплекса лучше второй, так как имеет лучший показатель по критериям К5 и К3.

Использование основных положений теории важности критериев и метода парных сравнений позволит повысить обоснованность управленческих решений при ранжировании комплексов мероприятий по повышению качества процессов ТО и Р А. Большее количество информации привлекаемое к принятию управленческих решений позволит увеличить эффективность предприятий автосервиса за счет снижения сроков окупаемости капитальных вложений в мероприятия по повышению качества.

Список литературы / References

1. Экспертные технологии в транспортных системах / Б.А. Портников, К.Ю. Дибихин, Н.З. Султанов и др. – Оренбург, ИПК ГОУ ОГУ, 2007. - 274 с.
2. Напольский, Г.М. Обоснование мероприятий по повышению эффективности СТО легковых автомобилей: методические указания к деловой игре / Г.М. Напольский, Г.Ш. Муравкина, А.А. Солнцев — М.: МАДИ, 2010. - 20 с.
3. Давнис, В.В. Прогнозные модели экспертных предпочтений: монография / В.В. Давнис, В.И. Тинякова. - Воронеж: Изд-во ВорГУ, 2005. - 248 с.
4. Архирейский А. А. Деловая игра ''Ранжирование мероприятий по повышению уровня качества процессов технического обслуживания и ремонта автомобилей" / А. А. Архирейский. - Оренбург : ОГУ. – 2017. – URL: http://artlib.osu.ru/web/books/metod_all/34061_20170217.pdf (дата обращения: 27.07.2017).
5. Якунин, Н.Н. Параметрическая оценка состояния услуг по техническому обслуживанию и ремонту автомобилей с позиции требований системы сертификации ГОСТ Р [Текст] / Н.Н. Якунин, Н.В. Игнатова // Вестник ОГУ. -2000. -№2. - С. 92-100. – Библиогр.: с. 100.
6. Архирейский А. А. Результаты исследования относительной важности критериев оценивания качества процессов технического обслуживания и ремонта автомобилей по критериям системы сертификации / А. А. Архирейский // Международный научно-исследовательский журнал. — 2017. — № 03 (57) Часть 4. — С. 12—15. doi: 10.23670/IRJ.2017.57.106
7. Тюрин, Ю.Н. Непараметрические методы статистики / Ю.Н. Тюрин. – М. : Знание, 1978. – 64 с.
8. Варнаков, В.В. Технический сервис машин сельскохозяйственного назначения / В.В. Варнаков, В.В. Стрельцов, В.Н. Попов, В.Ф. Карпенков – М.: КолосС, 2003. – 253 с.
9. Архирейский, А.А. Комплексная оценка соответствия автосервиса требованиям системы сертификации / А.А. Архирейский, Н.Н. Якунин // Сборник докладов VIII Российской научно-практической конференции «Прогрессивные технологии в транспортных системах». – Оренбург : ГОУ ОГУ, 2007. – С. 31–38.
10. Подиновский, В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений / В.В. Подиновский. – М. : ФИЗМАТЛИТ, 2007. – 64 с. ISBN 978-5-9221-0743-3.
11. David H. A. The Method of Paired Comparisons / H. A. David – New York: Oxford University Press, 1988. – 188 p.
12. Архирейский, А. А. Методика выбора исполнителя услуг на автомобильном транспорте / А.А. Архирейский // Вестник Оренбургского государственного университета. – 2015. – №4 (179). – С. 4–9.
13. Kendall M. G. Rank Correlation Methods / М. G. Kendall. – London: Charles Griffin & Company Limited, 1948. – 160 р.
14. Starks, T. H., David H. A. Significance Tests for Paired-Comparison Experiments / T. H. Starks, H. A. David // Biometrika. - 1961. - Vol. 48, no. 1/2. - P. 95–108. doi:10.2307/2333134

Список литературы на английском языке / References in English

1. Jekspertnye tehnologii v transportnyh sistemah [Expert technologies in transport systems] / В.А Portnikov, K.Ju. Dibihin, N.Z. Sultanov and others – Orenburg: IPK GOU OGU, 2007. - 274 p. [in Russian]
2. Napol'skij, G.M. Obosnovanie meroprijatij po povysheniju jeffektivnosti STO legkovyh avtomobilej: metodicheskie ukazanija k delovoj igre [Substantiation of measures to increase the efficiency of passenger car maintenance stations: methodological instructions for a business game] / G.М. Napol'skij, G.Sh. Muravkina, A.A. Solncev — M.: MADI, 2010. - 20 p. [in Russian]
3. Davnis, V.V. Prognoznye modeli jekspertnyh predpochtenij: monografija [Forecast models of expert preferences: monograph] / V.V. Davnis, V.I. Tinjakova. - Voronezh: Izd-vo VorGU, 2005. - 248 p. [in Russian]
4. Arhirejskij A. A. Delovaja igra ''Ranzhirovanie meroprijatij po povysheniju urovnja kachestva processov tehnicheskogo obsluzhivanija i remonta avtomobilej" [Business game '' Ranking of measures to improve the level of quality of maintenance and repair of cars ''] / A. A. Arhirejskij. - Orenburg : OGU. – 2017. – URL: http://artlib.osu.ru/web/books/metod_all/34061_20170217.pdf (accessed: 27.07.2017). [in Russian]
5. Jakunin, N.N. Parametricheskaja ocenka sostojanija uslug po tehnicheskomu obsluzhivaniju i remontu avtomobilej s pozicii trebovanij sistemy sertifikacii GOST R [Parametric assessment of the condition of services for maintenance and repair of vehicles from the standpoint of the requirements of the GOST R certification system] / N.N. Jakunin, N.V. Ignatova // Vestnik Orenburgskogo gosudarstvennogo universiteta [Bulletin of the Orenburg State University]. - 2000. - №2. - P. 92-100. [in Russian]
6. Arhirejskij A. A. Rezul''taty issledovanija otnositel''noj vazhnosti kriteriev ocenivanija kachestva processov tehnicheskogo obsluzhivanija i remonta avtomobilej po kriterijam sistemy sertifikacii [Results of research of relative importance of criteria for quality assessment of vehicles maintenance and repair processes by criteria of the certification system] / A. A. Arhirejskij // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal [International research journal]. — 2017. — № 03 (57) Chast' 4. — P. 12—15 doi: 10.23670/IRJ.2017.57.106. [in Russian]
7. Tjurin, Ju. N. Neparametricheskie metody statistiki [Nonparametric methods of statistics] / Ju. N. Tjurin. – М. : Znanie, 1978. – 64 p. [in Russian]
8. Varnakov, V.V. Tehnicheskij servis mashin sel'skohozjajstvennogo naznachenija [Technical service machines for agricultural purposes] / V.V. Varnakov, V.V. Streltsov, V.N. Popov, V.F. Karpenkov - M .: KolosS, 2003. - 253 p. [in Russian]
9. Arhirejskij, A.A. Kompleksnaja ocenka sootvetstvija avtoservisa trebovanijam sistemy sertifikacii [Comprehensive assessment of the conformity of the car service to the requirements of the certification system] / A.A. Arhirejskij, N.N. Jakunin // Sbornik dokladov VIII Rossijskoj nauchno-prakticheskoj konferencii «Progressivnye tehnologii v transportnyh sistemah» [Collection of reports of the VIII Russian Scientific and Practical Conference «Progressive technologies in transport systems»]. – Orenburg : GOU OGU, 2007. – P. 31–38. [in Russian]
10. Podinovskij, V.V. Vvedenie v teoriju vazhnosti kriteriev v mnogokriterial'nyh zadachah prinjatija reshenij [Introduction to the theory of the importance of criteria in multicriteria decision-making problems] / V.V. Podinovskij. – М. : FIZMATLIT, 2007. – 64 p. [in Russian]
11. David H. A. The Method of Paired Comparisons / H. A. David – New York: Oxford University Press, 1988. – 188 p.
12. Arhireyskiy, A.A. Metodika vybora ispolnitelja uslug na avtomobil'nom transporte [Technique of choice of the services performer on the motor transport] / A.A. Arhireyskiy // Vestnik Orenburgskogo gosudarstvennogo universiteta [Bulletin of the Orenburg State University]. - 2015. - №4 (179). - Р. 4-9. [in Russian]
13. Kendall M. G. Rank Correlation Methods / М. G. Kendall. – London: Charles Griffin & Company Limited, 1962. – 160 р.
14. Starks, T. H., David H. A. Significance Tests for Paired-Comparison Experiments / T. H. Starks, H. A. David // Biometrika. - 1961. - Vol. 48, no. 1/2. - P. 95–108. doi:10.2307/2333134