ПРОГНОЗИРОВАНИЕ ПОТРЕБИТЕЛЬСКОГО СПРОСА С ПОМОЩЬЮ КОМПОЗИЦИИ ОБОБЩЕННОГО НЕПАРАМЕТРИЧЕСКОГО И НЕЙРОСЕТЕВОГО МЕТОДОВ

ПРОГНОЗИРОВАНИЕ ПОТРЕБИТЕЛЬСКОГО СПРОСА С ПОМОЩЬЮ КОМПОЗИЦИИ ОБОБЩЕННОГО НЕПАРАМЕТРИЧЕСКОГО И НЕЙРОСЕТЕВОГО МЕТОДОВ

Научная статья

Поспелова Л.Я.^1, *, Шананин А.А.²

¹ ORCID: 0000-0002-5037-4161,

¹ Вычислительный центр им. А.А. Дородницына Федерального исследовательского центра «Информатика и управление» Российской академии наук, Москва, Россия;

² Федеральное государственное автономное  образовательное учреждение высшего образования «Московский физико-технический институт (государственный университет)», Долгопрудный, Россия

* Корреспондирующий автор (poljak[at]yandex.ru)

Аннотация

Описана технология прогнозирования временных рядов цен и объемов продаж на потребительских рынках розничной торговли. Предлагаемая технология опирается на композицию методов (обобщенный непараметрический метод анализа экономической рациональности и нейросетевой анализ) и поддерживается инструментами ИНДЕКС и MATLAB. Показана продуктивность применения технологии для краткосрочного предсказания объемов розничной продажи отдельных товаров при предполагаемом изменении цен на реальных рынках товаров и услуг: результаты прогнозирования с использованием обученной нейросети не выходят за рамки гипотезы о рациональном поведении участников рынка.

Ключевые слова: нейросетевой анализ, обобщенный непараметрический метод, потребительский рынок, рациональное поведение, экономический индекс.

FORECASTING CONSUMER DEMAND USING COMPOSITION OF GENERALIZED NON-PARAMETRIC AND NEURAL NETWORK METHODS

Research article

Pospelova L.Ya.^1, *, Shananin A.A.²

¹ORCID: 0000-0002-5037-4161,

¹ Computing Center named after A.A. Dorodnitsyn, Federal Research Center of Informatics and Management, Russian Academy of Sciences, Moscow, Russia;

² Federal State Autonomous Educational Institution of Higher Education Moscow Institute of Physics and Technology (State University); Dolgoprudny, Russia

*Corresponding author (poljak[at]yandex.ru)

Abstract

The forecasting technology for price and sales volume time series in consumer retail markets is described in the paper. The proposed technology is based on a combination of methods (a generalized non-parametric method for analyzing economic rationality and neural network analysis) and is supported by the INDEX and MATLAB tools. The efficiency of the use of technology for the short-term prediction of retail sales of certain goods is shown, with an expected change in prices in real markets for goods and services: the results of forecasting using a trained neural network do not go beyond the hypothesis of rational behavior of market participants.

Keywords: neural network analysis, a generalized non-parametric method, consumer market, rational behavior, economic index.

Введение

Актуальность построения и прогнозирования экономических показателей, адекватно отражающих динамику предпочтений потребителей товаров и услуг, связана с необходимостью гибко управлять процессом ценообразования, с необходимостью количественного предсказания поведения потребителей при изменениях цен или объемов продаж.

Под технологией мы будем понимать набор методов, позволяющий достичь цели с помощью инструментов. Для краткосрочного предсказания двумерных временных рядов цен и объемов продаж предлагается использовать алгоритмическую композицию [6, С. 27] обобщенного непараметрического метода (ОНМ) [1, С. 1946], [2], [3],[4]  и нейросетевой анализ [5, С. 14] как последовательность оптимизационных задач [7, C. 315], на решения которых наложены ограничения, связанные со спецификой конкретного приложения.

В качестве объекта исследования будем рассматривать временные ряды индексов цен и индексов объемов продаж, отражающие динамику предпочтений потребителей на рынках розничной торговли. В соответствии с международными стандартами [8, С. 57] мы будем различать два вида индексов цен (при условии неизменности неценовых факторов):

1. “корзинный” индекс потребительских цен (ИПЦ) (индекс покупок, индекс инфляции), который оценивает изменение расходов потребителей в двух периодах времени на покупку заданной корзины товаров и услуг (индексы Лоу, Ласпейреса, Пааше, Фишера и др.);
2. индекс стоимости жизни (ИСЖ) (индекс потребления), оценивающий динамику минимальной стоимости потребляемых количеств благ для поддержания заданного уровня полезности (индексы экономической рациональности Конюса, Дивизиа, Сэмюэльсона, Вериана [1], Шананина [2] и др.).

В отличие от “корзинных” индексы экономической рациональности не требуют фиксированного набора товаров и услуг: в базисном и текущем периодах вектора количеств не совпадают. ИСЖ учитывает эффект рационального замещения относительно подорожавших или устаревших продуктов относительно подешевевшими или усовершенствованными. Категоричное мнение [8, С. 15], что “ИСЖ, основанный на истинной, но неизвестной функции полезности”, не представляет собой “реальный индекс, который можно рассчитать” (за исключением особых случаев предпочтения потребителей), было неоднократно опровергнуто серией исследований различного рода рынков с помощью обобщенного непараметрического метода [3], [4], [10]. В данной статье термин индекс цен будет означать индекс экономической рациональности (ИСЖ). Доказано [10, С. 34], что значения величин ИСЖ не превышают значений индекса Ласпейреса и не опускаются ниже значений индекса Пааше. Ценность методов исчисления ИСЖ заключается в выявлении сегментов рынка (групп взаимозаменяемых-взаимодополняющих товаров), где действует механизм свободной конкуренции.

Обобщенный непараметрический метод

В условиях свободного рынка объемы продаж определяются спросом потребителей, который, в свою очередь, зависит от цен  X = X(P). Непараметрический метод опирается на гипотезу о рациональном поведении потребителей, которая утверждает: функции спроса X(P) определяются как точки максимума некоторой вогнутой функции полезности на бюджетном множестве.

В паретовской теории потребительского спроса исходной информацией для вычисления индексов являются обратные функции спроса P(X) или функции спроса X(P). В реальности же мы можем оперировать лишь с наблюдаемой торговой статистикой , которая определяет значения обратных функций спроса в конечном числе точек . При этом рационализируемость торговой статистики понимается как возможность продолжить ее до обратных функций спроса, рационализируемых в классе . Теорема Африата-Вериана [1, С. 946] позволяет проверить рационализируемость торговой статистики путем поиска решения  системы линейных неравенств

   (1)

При этом одно из решений системы (1) - функция полезности, рационализирующая торговую статистику, имеет вид:

   (2)

По положительному решению системы (1) можно построить временные ряды индексов цен  и индексов объема  , которые учитывают изменения структуры потребления при изменении структуры цен.

Будем говорить, что группа товаров  отделяется от остальной номенклатуры товаров , если перестановкой компонент вектор товаров  можно представить в виде  так, что функция полезности  представляется в виде суперпозиции   .

Пропорции цен товаров отделимой группы определяются лишь спросом на товары данной группы. Отделимые группы объединяют товары, связанные свойствами взаимодополняемости и взаимозаменяемости. Группы могут вкладываться друг в друга, образуя затейливые структуры - сегменты рынка свободной конкуренции.

В публикациях [4], [10] описывается методика исчисления индексов экономической рациональности путем «смягчения» условий существования функции полезности (путем задания мер нечеткости). Вместо системы (1) предлагается решать систему (3):

при некотором .

Множество решений расширяется с ростом , и если система (1) не имеет положительного решения, то существует , являющееся нижней границей множества значений , для которых разрешима система (3). Такое  является идемпотентным аналогом числа Фробениуса – Перрона (см. [3, С. 93]) и имеет смысл показателя (или порога)  рационализируемости сегмента рынка, представленного данной торговой статистикой.

Значения  рассматриваются как меры неточности выполнения гипотезы о рациональном поведении потребителей на рынке товаров и услуг, а также как меры качества полученных решений нейросетевого предсказания.

Прогнозирование индексов экономической рациональности

В настоящей статье поставлена задача прогнозирования индексов объемов продаж при предполагаемом изменении индексов цен. Отчетная статистика продаж [9] за период 8 лет (2009 – 2016 гг.) содержит данные о цепных индексах цен и индексах объемов Ласпейреса достаточно высокого уровня агрегирования для 56 наименований групп товаров и услуг (табл. 1). Показатели разбиты на три товароведческих (лингвистических) класса: «Продуктовые товары» [1-22], «Непродуктовые товары» [23-44], «Услуги» [45-56]. В краткосрочном цепном индексе сравниваются цены и объемы продаж каждого года с ценами и объемами продаж предыдущего года. В реальных примерах цепные ИПЦ были пересчитаны в прямые индексы за длительный период (8 лет). Эти временные ряды прямых индексов служат входами системы ИНДЕКС [10, С. 36] первого этапа анализа и сегментации розничного рынка с помощью ОНМ. Понятно, что члены этого двумерного временного ряда не являются статистически независимыми, а являются продуктом компромисса покупателей и продавцов на потребительском рынке. Если этот компромисс достигнут в результате рационального поведения экономических агентов данного рынка, то появляется возможность получения точного решения (2) системы неравенств (1) и исчисления индексов экономической рациональности.

 

Таблица 1 – Товары и услуги рынка РФ

1	Мясо	15	Макароны	29	Мыло	43	Ювелирные
2	Мясопрод	16	Хлебобул	30	Парфюм	44	Мед, фарма
3	Конс мясо	17	Картофель	31	Часы	45	Бытовые услуги
4	Рыба	18	Овощи	32	Аудиоаппарат	46	Транспорт
5	Жив масла	19	Фрукты	33	Телевизоры	47	Связь
6	Растит масла	20	Чай	34	Холод-мороз	48	Жилищные
7	Маргарин	21	Алкоголь	35	Стир маш	49	Коммунальные
8	Молочные	22	Табачные	36	Вело-мотовело	50	Культура
9	Сыры	23	Ткани	37	Мотоциклы	51	Туризм
10	Яйца	24	Одежда	38	Авто легк	52	Физкульт-спорт
11	Сахар	25	Мех/Трикот	39	Бензин авто	53	Мед услуги
12	Кондитерские	26	Чулочные	40	Мебель	54	Санаторные-
13	Мука	27	Обувь	41	Ковры	55	Право
14	Крупа	28	Моющие	42	Стройматериалы	56	Образование

 

Выходы этапа (вычисленные индексы экономической рациональности для групп взаимозаменяемых-взаимодополняющих товаров) служат входами для этапа нейросетевого предсказания потребительского спроса.

На рис. 1 представлены результаты сегментации рынка РФ, проведенной с опорой на товароведческие классы.

Рис. 1 – Сегменты рынка свободной конкуренции

 

На рис. 2 приведены графики индексов цен (а) и индексов объемов (в абсолютной (б) и относительной (в) шкалах) для групп взаимодополняющих товароведческих классов. Графики иллюстрируют достаточно умеренный рост индексов стоимости жизни (рис. 2.а) и резко выраженное падение индексов объемов продаж начиная с 2014 года. Тем не менее в выявленных сегментах рынка потребители РФ в интервале времени 2009-2016 гг. демонстрировали рациональное поведение: для статистики РФ система неравенств (1) имела точное решение (2). Другими словами, каждый потребитель совершал покупки в соответствии с индивидуальными (возможно, экзотическими) предпочтениями, но агрегированный экономический агент Потребитель рационально “перемещался” по точкам максимума некоторой вогнутой функции полезности на бюджетном множестве.

 

Рис. 2 – Индексы цен (а) и индексы объемов (б, в)

 

Продолжим сегментацию рационализируемого класса “Услуги” с целью выявления отношений  взаимодополняемости между различными видами услуг. Результат отразим в таблице 2, где:

• - рационализируемая пара взаимодополняющих услуг;
• · - рационализируемая и отделимая пара взаимодополняющих услуг.

Свободная конкуренция, когда спрос на товары полностью зависит от цены, наблюдалась в 14 сегментах (“1 Бытовые услуги + 6 Культура”, “1 Бытовые услуги + 8 Спорт”, “1 Бытовые услуги + Право”, “2 Транспорт + 6 Культура” и т.д.). В каждом из сегментов функционировало множество фирм, каждой из которых принадлежала лишь небольшая доля рынка - обстоятельство, затрудняющее фирмам монопольно контролировать цены.

Система ИНДЕКС также выделила сегменты, где продолжают доминировать естественные монополии: “4 Жилищные услуги”, “5 Коммунальные услуги”, “9 Медицина, Фармацевтика, Ортопедия”.

 

Таблица 2 – Группы из пар услуг

Выберем для целей прогнозирования отделимую группу “Транспорт + Культура”. Поставим задачу: построить и обучить  нейронную сеть для аппроксимации таблично заданной функции X_i = F(P_i,T_i). Выборки для обучения составляются из первых 8 временных точек. Для верификации обученной сети из статистики Росстата [9] выбираются значения циклического ИПЦ на 2017 г. для всей номенклатуры товаров и услуг.

Создадим сеть с несложной архитектурой типа feed-forward backprop с прямой передачей сигнала, с обратным распространением ошибки [5, С. 15] и числом нейронов в скрытом слое N=10. На единственный вход будем подавать сигнал двумя способами: одномерный (R=1 в Matlab), (P_i) и двумерный (R=2), (P_i,T_i). Результаты прогнозирования для услуг “Транспорт” и “Культура” представлены на рис. 3 и рис. 4 в виде графиков X(P) и X(t). Непрерывная линия отражает обучающую выборку, крестики и кружки – результаты аппроксимации двумя нейросетями, принимающими на вход одномерный и двумерный сигналы. Отметим, что увеличение N приводит к эффекту переучивания (в нашем случае - к тривиальным ответам).

Рис. 4 – Услуга “Транспорт”. X(p) и X(t), N=10, R1(+), R2(o)

Рис. 5 – Услуга “Культура”. X(p) и X(t), N=10, R1(+), R2(o)

 

Отметим, что двумерные входы дают меньшую ошибку аппроксимации, нежели одномерные, что только подтверждает взаимозависимость членов двумерного ряда. Хронологическая предыстория, пренебрегаемая ОНМ, оказывается немаловажной при прогнозировании спроса.

А теперь проверим, не нарушило ли нейросетевое предсказание выполнение гипотезы о рациональном поведении потребителей. Заменим во временных рядах статистические данные об объемах продаж на данные, полученные из нейроаппроксиматора для случаев одномерных и двумерных входов. Вновь сформированные временные ряды рационализируют сегмент рынка “Транспорт+Культура” с разными мерами неточности: 0.00037 (R=1) и 0.0001 (R=2). Делаем вывод о предпочтительности использования двумерных входов в нейронную сеть для предсказаний на потребительских рынках.

Выводы

Выявлены сегменты потребительского рынка РФ двух типов: сегменты, где действует механизм свободной конкуренции и сегменты, где продолжают доминировать естественные монополии.

Проведены эксперименты по созданию и обучению нейросетей для прогнозирования временных рядов индексов экономической рациональности. Подтверждена способность обученной сети предсказывать будущее значение объемов розничной продажи отдельных товаров при предполагаемом изменении цен так, что результаты прогнозирования не выходят за рамки гипотезы о рациональном поведении участников рынка. Выявлена предпочтительная размерность сетевого входа.

Конфликт интересов Не указан.

Conflict of Interest None declared.

Список литературы / References

1. Varian H. The nonparametric approach to demand analysis [Электронный ресурс] / Varian // Econometrica. - 1982. -Vol. 50. - No. 4. - P. 945-973. - URL: http://links.jstor.org/sici?sici=0012-9682%28198207%2950%3A4%3C945%3ATNATDA%3E2.0.CO%3B2-O (дата обращения 12.11.2018).
2. Шананин А.А. Непараметрические методы анализа структуры потребительского спроса / А.А. Шананин // Математическое моделирование. - - № 9. -С. 3-17.
3. Шананин А.А. Проблема интегрируемости и обобщенный непараметрический метод анализа потребительского спроса / А.А. Шананин // Труды МФТИ. - -Т.1, № 4. - С. 84-98.
4. Поспелова Л.Я. Показатели нерациональности потребительского поведения и обобщенный непараметрический метод / Л.Я. Поспелова, А.А. Шананин // Математическое моделирование. - - Т. 10, № 4. - С. 105-116.
5. Аксенов С.В. Организация и использование нейронных сетей (методы и технологии) / С.В. Аксенов, В.Б. Новосельцев // Под общ. Ред. В.Б. Новосельцева. - Томск: Изд-во НТЛ, 2006. - 128 с.
6. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации / Ю.И. Журавлев // Проблемы кибернетики. - - Т. 33. - С. 5-68.
7. Рудаков К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания [Электронный ресурс] / К.В. Рудаков, К.В. Воронцов // Докл. РАН. - - Т. 367, № 3. - С. 314-317. - URL: http://www.ccas.ru/frc/papers/rudvoron99dan.pdf (дата обращения 12.11.2018).
8. МОТ Руководство по индексам потребительских цен: Теория и практика [Электронный ресурс] / МОТ/ МВФ/ ОЭСР/ Евростат/ ЕЭК ООН/ Всемирный банк // Вашингтон, МВФ. - - 720 с. - URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/tariffs /#/"Руководство по индексу потребительских цен (теория и практика)", на русском языке (перевод 2007 г.) (дата обращения 12.11.2018).
9. Росстат. Официальная статистика. Публикации. Российский статистический ежегодник [Электронный ресурс] // Росстат.- - URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/ publications/catalog/doc_1135087342078 (дата обращения 16.11.2018).
10. Кондраков И.А. Обобщенный непараметрический метод. Применение к анализу товарных рынков / Кондраков И.А., Поспелова Л.Я., Шананин А.А. // Труды МФТИ. - -  Т. 2, № 3. С. 32-45.

Список литературы на английском языке / References in English

1. Varian H. The nonparametric approach to demand analysis [Electronic resource] / Varian // Econometrica. - 1982. -Vol. 50. - No. 4. - P. 945-973. - URL: http://links.jstor.org/sici?sici=0012-9682%28198207%2950%3A4%3C945%3ATNATDA%3E2.0.CO%3B2-O  (accessed 10.11.2018).
2. Shananin A.A. Neparametricheskie metody analiza struktury potrebitel'skogo sprosa [Nonparametric methods of analysis of consumer demand structure] / A.A. Shananin // Matematicheskoe modelirovanie [Mathematical modeling]. – 1993. – № 9. – P. 3-17. [in Russian]
3. Shananin A.A. Problema integriruemosti i obobshhennyj neparametricheskij metod analiza potrebitel'skogo sprosa [The integrability problem and the generalized non-parametric method for the analysis of consumer demand] / A.A. Shananin // Trudy MFTI [Proceedings of MIPT]. – 2009. – T.1, № – S. 84-98. [in Russian]
4. Pospelova L.Ya. Pokazateli neracional'nosti potrebitel'skogo povedenija i obobshhennyj neparametricheskij metod [Indicators of non-rationality consumer behavior and generalized nonparametric method] / L.Ya. Pospelova, A.A. Shananin // Matematicheskoe modelirovanie [Mathematical modeling]. - - T. 10, № 4. - P. 105-116. [in Russian]
5. Aksenov S.V. Organizacija i ispol'zovanie nejronnyh setej (metody i tehnologii) [Organization and use of neural networks (methods and technologies)] / S.V. Aksenov, V.B. Novosel'cev // Pod obshh. Red. [Under the General ed.] V.B. Novosel'ceva. - Tomsk: Izd-vo NTL [Publishing STL], 2006. - 128 P. [in Russian]
6. Zhuravlev Ju.I. Ob algebraicheskom podhode k resheniju zadach raspoznavanija ili klassifikacii [On an algebraic approach to solving recognition or classification problems] / Ju.I. Zhuravlev // Problemy kibernetiki [Problems of Cybernetics]. - - T. 33. - P. 5-68. [in Russian]
7. Rudakov K.V. O metodah optimizacii i monotonnoj korrekcii v algebraicheskom podhode k probleme raspoznavanija [About the methods of optimization and monotone correction in the algebraic approach to the problem of recognition] [Electronic resource] / K.V. Rudakov, K.V. Voroncov // Dokl. RAN [Reports RAS]. - - T. 367, № 3. - P. 314-317 - URL: http://www.ccas.ru/frc/papers/rudvoron99dan.pdf (accessed 12.11.2018). [in Russian]
8. ILO Consumer price index manual: Theory and practice / ILO/ IMF/ OECD/ UNECE/ Eurostat/ The World Bank // Geneva, International Labour Office. - - 720 P.
9. Oficial'naja statistika. Publikacii. Rossijskij statisticheskij ezhegodnik [Official statistics. Publications. Russian statistical yearbook] [Electronic resource] // Rosstat [Rosstat]. – 2017. – URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/publications/catalog/doc_1135087342078 (accessed 16.11.2018). [in Russian]
10. Kondrakov I.A. Obobshhennyj neparametricheskij metod. Primenenie k analizu tovarnyh rynkov [Generalized nonparametric method. Application to the analysis of commodity markets] / Kondrakov I.A., Pospelova L.Ja., Shananin A.A. // Trudy MFTI [Proceedings of MIPT].  – 2010. – T. 2, № 3. P. 32-45. [in Russian]