AN ANALYSIS OF FOREIGN TRADE IN GRAINS AND MACHINE LEARNING METHODS IN DECISION SUPPORT FOR AGRIFOOD EXPORTS

Research article
DOI:
https://doi.org/10.23670/IRJ.2024.142.9
Issue: № 4 (142), 2024
Suggested:
02.03.2024
Accepted:
29.03.2024
Published:
17.04.2024
207
2
XML
PDF

Abstract

According to world rankings, Russia ranked seventeenth among the world's major food exporters in 2022. The export indicator has grown more than five times in more than a decade. One of the key areas of agrifood exports is the export of cereals, including wheat. Due to the strategic importance of grains, both in foreign economic activity and for the country's economy as a whole, it is of interest to analyse it and search for modern approaches to support decision-making in this area. One of them, along with classical statistical methods, are machine learning methods. The aim of this study is to analyse the comparative analysis of foreign trade in cereals and to determine the possibility of using machine learning methods in decision-making support of agrifood export of cereals. The classical statistical analysis of the structure of world and Russian grain exports has been carried out, the dynamics of average world prices for grains and the dynamics of the share of the largest countries importing Russian grains have been analysed.

Machine learning methods were used in the task of classifying grain importing countries in terms of grain imports from Russia and predicting which Russian export category a country would fall into. Two models were identified: the base classifier GradientBoostingClassifier and the ensemble model StackingClassifier, which showed the best performance in terms of metrics and learning curves. The classification results were analysed in terms of their applicability to agrifood export decision support.

1. Введение

Внешняя торговля является одной из быстроразвивающихся сфер экономической жизни России. Особенно это касается агропродовольственного сектора в целом и его ключевой составляющей – зерновых. Согласно статистике за 2021 год, объем мирового рынка зерна составил более 180 миллионов тонн, причем 35% этого объема пришлось на пшеницу

. По результатам 2022 года Россия заняла семнадцатое место среди основных экспортеров продовольствия в мире. По этой категории доля России составляет 8,8%, а выручка показала рост на 16%
.  Зерновые являются стратегическим товаром для обеспечения продовольствием и их импортируют более 130 стран мира. Наиболее крупными импортерами являются Китай, Турция, Иран, Египет, Саудовская Аравия
. Зерно исторически было основой экспорта России. Согласно рейтинга мировой статистике за 2022 г. 
, Россия вышла на первое место в мире с долей 20% по экспорту только пшеницы. В топ 5 мировых экспортеров также вошли: Канада (13,9%), США (13,7%), Франция (9,3%) и Украина (9%). В структуре же экспорта продукции АПК за 2022 год зерновые занимают 32%. В число крупнейших покупателей нашего продовольствия входят Китай (12,3%) и Турция (12,2%). Что касается зерновых, то это Турция и Египет
,
. В связи со стратегической значимостью зерновых как во внешнеэкономической деятельности, так и для экономики страны в целом, представляет интерес ее анализ и поиск современных подходов к моделированию и прогнозированию. Одним из таких подходов, наряду с классическими статистическими методами
,
, выступают методы машинного обучения. В последние годы растет интерес к применению методов машинного обучения  к анализу и прогнозированию финансовых рынков, социально-экономических процессов, технических систем
,
. В некоторых работах
так же предприняты попытки применения методов машинного обучения  к внешнеэкономической деятельности. Целью исследования является сравнительный анализ внешней торговли зерновыми и определение возможности использования методов машинного обучения  в поддержке принятия решений агропродовольственного экспорта зерновых.

В качестве методов исследования выступают как классические методы статистического анализа, так и методы машинного обучения

. В качестве материалов использовались данные федеральной таможенной службы
, данные агрегаторов мировой торговой статистики Trade Map
, и российской статистики Ru-stat
.

2. Основные результаты

Зерновые являются стратегическим товаром с точки зрения продовольственной безопасности любой страны. В этой связи их производство и налаженный экспорт становятся доминантой развития экономики. Исторически Россия входила в число  ведущих мировых держав по экспорту зерновых. Однако в девяностые годы мы потеряли ключевые позиции в этой сфере, превратившись практически в импортера продовольствия. В начале нового тысячелетия государство обратило пристальное внимание на эту сферу и приступило к реализации аграрной реформы. Благодаря предпринятым мерам внутреннее потребление было практически обеспечено, что позволило в качестве приоритета определить выход на внешние рынки.

Pассмотрим динамику объемов (в млрд. долларов) мирового и российского экспорта зерновых (товарная группа «Злаки») в период 2015-2021 гг (рис. 1).

 Динамика мирового и российского экспорта зерновых (2015-2021 гг)

Рисунок 1 - Динамика мирового и российского экспорта зерновых (2015-2021 гг)

Уравнение регрессии мирового экспорта зерновых img   показывает явную тенденцию к росту, что обусловлено возрастающими потребностями мирового сообщества в обеспечении продовольствием. Такая же тенденция наблюдается и в российском экспорте. При этом мировые цены на зерновые постоянно растут. На рисунке 2 представлены средние мировые цены на некоторые зерновые.
 Динамика средних мировых цен

Рисунок 2 - Динамика средних мировых цен

Проведем сравнительный анализ структуры мирового и российского экспорта. Как видно из приведенной диаграммы (рис. 3), ключевыми здесь являются пшеница, рис и кукуруза, на долю которых, в совокупности приходится около 86% в 2015 году. Эта тенденция сохраняется в динамике и в 2021 году составляет уже почти 90%.

Что касается России, то как следует из приведенной диаграммы (рис. 4), ключевыми здесь являются  пшеница и кукуруза, с преобладанием пшеницы, которая в динамике составляла около 70 % в 2015 году и почти 80% в 2021 году.

 Структура мирового экспорта зерновых (2015 -2021 гг)

Рисунок 3 - Структура мирового экспорта зерновых (2015 -2021 гг)

На примере 2021 года видим (рис. 5), что крупнейшими экспортерами являются США (24%), Индия (10%), Аргентина (10%), Украина (9%), Австралия (8%) и Россия (7%).
 Структура российского зерновых экспорта (2015 -2021 гг)

Рисунок 4 - Структура российского зерновых экспорта (2015 -2021 гг)

 Топ 15 стран по экспорту зерновых (2021 г.)

Рисунок 5 - Топ 15 стран по экспорту зерновых (2021 г.)

В то время как крупнейшими потребителями (рис. 6) являются Китай (25%), Япония (10%), Мексика (7%), Республика Корея (6%), Египет (6%) и Турция (5%).
Топ 15 стран по импорту зерновых (2021 г.)

Рисунок 6 - Топ 15 стран по импорту зерновых (2021 г.)

Детальный анализ ежегодных объемов экспорта (табл. 1) показывает явную тенденцию к росту (рис. 7). Уравнения регрессии img  как общего объема , так и его ключевой составляющей (пшеницы и меслина)  img подтверждают эту динамику.

Таблица 1 - Ежегодные объемы экспорта зерновых

2013, млрд. долларов США

2014, млрд. долларов США

2015, млрд. долларов США

2016, млрд. долларов США

2017, млрд. долларов США

2018, млрд. долларов США

2019, млрд. долларов США

2020, млрд. долларов США

2021, млрд. долларов США

Пшеница и меслин

3,48

5,41

3,95

4,18

5,8

8,44

6,39

7,94

7,3

Рожь

0,012

0,016

0,016

0,00043

0,005

0,0371

0,0101

0,0018

0,021

Ячмень

0,554

0,788

0,943

0,419

0,732

1,04

0,706

0,898

0,966

Овес

0,000753

0,0013

0,0028

0,0024

0,0027

0,009

0,0206

0,0145

0,049

Кукуруза

0,59

0,688

0,601

0,841

0,846

0,855

0,533

0,395

0,694

Рис

0,0917

0,125

0,104

0,0808

0,078

0,0687

0,0783

0,0671

0,071

Сорго

0,006

0,0043

0,0078

0,0043

0,0053

0,0032

0,0033

0,004

0,006

Гречиха и др злаки

0,015

0,0312

0,028

0,0173

0,0269

0,028

0,03

0,04

0,063

Итого

4,74

7,06

5,65

5,54

7,49

10,48

7,77

9,36

9,17

Зерновые, входящие в структуру российского экспорта, как показано в таблице 1, можно разделить на три группы: первая это пшеница и меслин, вторая – кукуруза, ячмень и овес, и, третья – рожь, сорго, гречиха и прочие злаки.

 Ежегодные объемы экспорта зерновых в целом и пшеницы (2015-2021 гг)

Рисунок 7 - Ежегодные объемы экспорта зерновых в целом и пшеницы (2015-2021 гг)

Наиболее интересным представляется анализ структуры экспорта в разрезе стран и его динамики, а так же анализ значимости российского экспорта для страны в которую он осуществляется. Такой анализ необходим для выявления тенденций выбора партнеров для определения устойчивости страновой диверсификации экспорта.

Проанализировав данные за период 2013-2020 годы, нами была получена следующая таблица (таблица 2), характеризующая динамику доли двадцати ключевых стран (ежегодно), в которые производился экспорт зерновых. Как видно, таких стран получилось – 34. Причем, какие-то страны весь исследуемый период попадали в двадцатку ключевых импортеров российских зерновых (например, Турция и Египет), часть стран имела смешанную тенденцию (например, Азербайджан и Южная Африка), а часть стран появилась только в конце исследуемого периода (например, Беларусь, Казахстан, Оман).

Таблица 2 - Доля крупнейших импортеров российских зерновых

 Страна

2013, %

2014, %

2015, %

2016, %

2017, %

2018, %

2019, %

2020, %

1

Азербайджан

3,9

3,9

4,9

3,8

3,1

1,3

3,6

3,3

2

Бангладеш

1,2

0,6

2,6

5,2

4,3

3,5

6,7

4,4

3

Беларусь

0,1

0,1

0,1

0,1

0,4

0,9

1,4

0,3

4

Вьетнам

0,2

0,1

0,01

0,4

3,1

4,6

1,4

2,1

5

Греция

1,4

0,7

0,9

0,9

0,4

0,7

0,5

0,4

6

Грузия

2,9

2,2

1,8

1,6

1,4

1

1,3

1,1

7

Египет

11,7

14,6

15

17,6

19,2

18,1

16,4

19,2

8

Израиль

3,1

2,4

1,5

1,7

1,6

1,7

1,2

1,4

9

Индонезия

1,4

0,8

0,7

0,5

2,7

2,5

0,9

0,01

10

Иордания

1,2

2,2

1,9

1,4

0,9

1,3

1,2

1,5

11

Иран

6,4

7,2

7,7

5,6

4,7

4,7

6,2

12

Испания

1,4

0,6

0,5

0,5

0,1

0,3

0,01

0,01

13

Йемен

4,4

3,6

2,4

2,7

3,6

2,5

2,4

1,9

14

Казахстан

0,4

0,5

0,6

0,2

0,2

0,2

1

1,1

15

Кения

2,5

1,9

1,5

1,3

1,6

1,5

1,3

1,3

16

Латвия

0,5

1,2

1,2

1,4

1,4

2,9

1,7

1

17

Ливан

1,3

1

1,5

3,5

3,2

2,5

1,3

0,4

18

Ливия

3,7

1,9

2,3

1

1,5

0,9

1,2

1

19

Марокко

0,01

1,3

0,1

2,2

0,6

1

1,3

1

20

Мексика

0,9

1,7

0,5

1,5

0,9

1,8

0,3

0,2

21

Мозамбик

1,5

0,5

0,8

0,6

0,7

0,6

0,7

0,8

22

Нигерия

1,1

2,6

3

4,4

3,4

3,9

2,3

2,2

23

Нидерланды

0,01

1,2

0,4

1,7

0,2

0,3

0,01

0,01

24

ОАЭ

1,2

1,7

1,5

1,2

2,4

1,3

2

1,8

25

Оман

0,5

0,9

0,8

0,5

0,9

0,8

1

1,1

26

Пакистан

0,8

0,6

0,01

0,01

0,01

0,02

0,05

3

27

Перу

1,8

0,6

0,3

0,5

0,3

0,2

0,1

 

28

Саудовская Аравия

6,7

4,8

9,7

3,8

3,5

3,9

3

6,1

29

Судан

1,9

3,1

1,2

2,7

3,5

4

2,6

3

30

Танзания

1,3

1,2

1,2

1,1

1,6

1,4

1,3

1,7

31

Турция

18,6

18,8

14,6

10,3

10,6

12

19,8

20,4

32

Филиппины

0,6

0,1

0,01

0,01

0,3

1,8

0,7

1,2

33

Южная Африка

2,6

2,8

3

2,1

1,2

1,5

1,2

1,2

34

Южная Корея

1,7

1,7

2,8

3,1

2,6

1,5

0,3

0,7

Визуальный анализ показывает, что возможно выделение трех категорий импортеров российских зерновых: Ключевые (Турция, Египет, Саудовская Аравия, Иран, Азербайджан), Стабильные (Грузия, Израиль, Иордания, Йемен, Кения, Ливан, Ливия, Нигерия, ОАЭ, Судан, Танзания, Южная Африка, Южная Корея) и с неопределенной стабильностью (Бангладеш, Беларусь, Вьетнам, Греция, Индонезия, Испания, Казахстан, Латвия, Марокко, Мексика, Мозамбик, Нидерланды, Оман, Пакистан, Перу, Филиппины).

Однако, традиционные методы анализа, не всегда позволяют выявить существующие тенденции, так как, число стран в которые производится экспорт российских зерновых гораздо больше рассмотренный нами выше тридцати четырех, а во вторых – среди стран не входящих в число экспортеров могут быть потенциальные экспортеры. Поэтому задача сводится к классификации стран импортеров зерновых в разрезе импорта зерновых из России и предсказанию, в какую экспортную российскую категорию попадет страна. При этом нас в первую очередь интересуют страны возможные импортеры, то есть те, которые потенциально могут войти в число крупнейших импортеров российских зерновых.

2.1. Машинное обучение

Описание исходных данных для задачи машинного обучения: источником для получения этих данных послужили сайты «https://russian-trade.com/» и данные агрегаторов мировой торговой статистики Trade Map. Датасет имеет название «Trade-statistics», содержит в себе информацию о торговых операциях с различными товарами  в разных странах в период с 1995 год по 2022 год. Он состоит из 8226871 строк и 10 столбцов, которые включают в себя следующие характеристики (рисунок 8 слева):

· country_or_area: название страны или региона, с которым происходила торговля; Тип данных: object

· year: год, в котором была совершена торговая операция; Тип данных: int64

· comm_code: код товара по классификации торговых товаров; Тип данных: object

· commodity: название товара; Тип данных: object

· flow: тип торговой операции (импорт или экспорт); Тип данных: object

· trade_usd: объем торговых операций в долларах США; Тип данных: int64

· weight_kg: вес товара в килограммах; Тип данных: float64

· quantity_name: единица измерения количества товара; Тип данных: object

· quantity: количество товара; Тип данных: float64

·  category: категория товара; Тип данных: object

 Вид датасета (слева) и Фрагмент кода (справа)

Рисунок 8 - Вид датасета (слева) и Фрагмент кода (справа)

Для дальнейшей работы  методами машинного обучения, датасет был предобработан, были добавлены столбцы, определены столбцы, которые будут кодироваться и масштабироваться. Закодировано было название страны (country_or_area). Так как мы рассматривали только зерновые, то столбец название товара (commodity) был исключен. Были рассмотрены – объем импорта из России, объем импорта всего по зерновым (weight) и объем торговых операций в долларах США (trade_usd) так же из России и всего по зерновым.

2.2. Построение моделей и алгоритмов машинного обучения

Для начала, мы разобьем датасет на обучающую и тестовую выборку. Параметр X послужит для нас матрицей признаков, а Y будет вектором целевой переменной. С помощью библиотеки мы разобьем данные так, чтобы они были перемешаны на тестовой и обучающей выборке, чтобы на тестовых данных модель сталкивалась с ранее неизвестными данными, и давала более точные результаты работы, а так же демонстрировала свою устойчивость.  Было принято решение к построению нескольких моделей машинного обучения единовременно (RandomForestClassifier, AdaBoostClassifier, GradientBoostingClassifier, BaggingClassifier, StackingClassifier, VotingClassifier) с использованием метода кросс-валидации из библиотеки, а также определением среднего значения оценки производительности в нескольких метриках

. Данный код позволяет сравнить производительность различных моделей машинного обучения на реальных данных агроэкспорта и выбрать наиболее эффективный алгоритм. Фрагмент кода приведен на рисунке 8 (справа).

Выбор метрик для оценки результатов модели является критически важным, поскольку это позволяет определить, насколько хорошо модель работает для конкретной задачи машинного обучения. В данном случае были выбраны следующие четыре метрики: Accuracy (точность), Precision (точность), Recall (полнота), F1 (мера F1) — это гармоническое среднее между точностью Precision и полнотой.  Выбор данных метрик позволяет оценить как точность модели, так и ее способность правильно идентифицировать классы, что может быть критически важным в задаче оценки российского агроэскпорта зерновых. Исходя из основной цели исследования и простоты интерпретации результатов мы остановимся на бинарной классификации, при которой  имеем вероятности принадлежности объектов к классам. Исходя из проведенного ранее анализа экспорта зерновых, мы в качестве порога разделения классов возьмем долю (%) импортеров российских зерновых в общем экспорте России по этой категории и определим ее равной 1%. Сводные характеристики приведены в таблице 3.

Таблица 3 - Сводные характеристики

RandomForestClassifier:

 

Accuracy: 0.988546255506608 (+/- 0.015361758391332763)

Precision: 0.9817636011130194 (+/- 0.02858059155517659)

Recall: 0.9817079143303612   (+/- 0.02727836777168025)

F1: 0.9815886680104503 (+/- 0.027907672304835752)

time:1.025625467300415

 

AdaBoostClassifier:

 

Accuracy: 1.0 (+/- 0.0)

Precision: 1.0 (+/- 0.0)

Recall: 1.0 (+/- 0.0)

F1: 1.0 (+/- 0.0)

time:0.7121977806091309

 

GradientBoostingClassifier:

 

Accuracy: 1.0 (+/- 0.0)

Precision: 1.0 (+/- 0.0)

Recall: 1.0 (+/- 0.0)

F1: 1.0 (+/- 0.0)

time:3.5756301879882812

 

BaggingClassifier:

 

Accuracy: 1.0 (+/- 0.0)

Precision: 1.0 (+/- 0.0)

Recall: 1.0 (+/- 0.0)

F1: 1.0 (+/- 0.0)

time:1.4272191524505615

 

VotingClassifier:

 

Accuracy: 1.0 (+/- 0.0)

Precision: 1.0 (+/- 0.0)

Recall: 1.0 (+/- 0.0)

F1: 1.0 (+/- 0.0)

time:4.958539009094238

 

 

StackingClassifier:

 

Accuracy: 1.0 (+/- 0.0)

Precision: 1.0 (+/- 0.0)

Recall: 1.0 (+/- 0.0)

F1: 1.0 (+/- 0.0)

time:28.346202611923218

 

Из анализа было выявлено, что GradientBoostingClassifier и ансамблевая модель  StackingClassifier демонстрируют наибольшую производительность по всем метрикам, что говорит о том, что они правильно классифицируют большинство примеров. Однако StackingClassifier также показывает более высокие значения Precision и Recall, чем остальные модели, однако требовала значительно больше времени для обучения. Это означает, что она имеет более высокую точность и полноту по сравнению с другими моделями.

Оценим визуально кривые обучения, чтобы сравнить эти две модели не только по численному признаку, выраженному в метриках, но и по визуальному. Красным будет помечаться обучающая переменная, а зеленым – тестовая (рисунок 9).

GradientBoostingClassifier Curve и StackingClassifier Curve

Рисунок 9 - GradientBoostingClassifier Curve и StackingClassifier Curve

Таким образом, в ходе исследования были определены две модели: базовый классификатор GradientBoostingClassifier и ансамблевая модель StackingClassifier, которые показали наилучшую производительность с точки зрения метрик и кривых обучения. В то же самое время, ансамблевая модель достаточно сильно уступает базовому классификатору в плане времени обучения, практически в пять с половиной раз.

Исходная задача сводилась к классификации стран импортеров зерновых в разрезе импорта зерновых из России и предсказанию, в какую экспортную российскую категорию попадет страна: страны-импортеры, которые потенциально входят в число крупнейших импортеров российских зерновых и  прочие страны.

Имеющиеся в наличии данные позволяют оценить работу модели для периода 2013–2021, так как данные 2022 и 2023 года еще не доступны. На рисунке 10 представлена диаграмма числа стран, вошедших в число крупнейших импортеров российских зерновых фактические за указанные периоды и предсказанные моделью.

 Диаграмма числа стран

Рисунок 10 - Диаграмма числа стран

Фактически в 2021 году четыре страны Камерун, Тунис, Алжир и Китай входят в число крупнейших импортеров российских зерновых. Моделью же так же были выделены еще три страны Сенегал, Демократическая республика Конго и Италия, что показывает достаточно хорошую точность. Рассмотрим подробно  рост стоимости экспорта в период 2019–2020 гг. и 2020–2021 гг. в процентах по странам, фактически вошедшим в двадцатку крупнейших импортеров российских зерновых и странам добавленным моделью,  а так же объем экспорта в 2021 г., тыс. долларов США (по данным trade map) (таблица 4).

Таблица 4 -  Сравнительный анализ показателей стран фактических и добавленных моделью импортеров

Страна

Рост стоимости экспорта в период 2019-2020 гг.,%

Рост стоимости экспорта в период 2020-2021 гг., %

Объем экспорта в 2021г. (тыс. долларов США)

Камерун

5

68

137,248

Тунис

353

65

 

121,002

Алжир

5

1

109,538

Китай

48

114

107,735

Сенегал

15

35

96,573

Демократическая республика Конго

71

126

96,189

Италия

4

301

94,715

Как видно из представленного анализа, все страны, за исключением Алжира показали значительный  процент роста стоимости экспорта. Более того, такие страны как Демократическая республика Конго и Италия,  классифицированные моделью показывают значительный рост стоимости в период 2020-2021 гг. Объем же в стоимостном выражении отличается незначительно, что говорит о потенциале этих стран, особенно если их сравнивать, например с Китаем.

Если поставить вопрос классификации несколько шире и задать в качестве порога разделения классов меньшую долю (%), например 0,5%, то мы очевидно сможем получить большее число стран потенциально выгодных импортеров наших зерновых. Помимо этого, мы так же можем выбрать другой параметр или параметры классификации.

Нами продемонстрированы только некоторые возможности машинного обучения для анализа внешней торговли зерновыми и использования моделей машинного обучения для поддержки принятия решений.

3. Заключение

Проведенный сравнительный анализ внешней торговли зерновыми показывает устойчивый рост российского экспорта зерновых, что обусловлено возрастающими потребностями мирового сообщества в обеспечении продовольствием. При этом цены на зерновые неуклонно растут, а в структуре экспорта большую долю занимает пшеница. Для России же пшеница является стратегическим экспортным товаром и по результатам 2022 года наша страна вышла на первое место в мире по ее экспорту. Наряду с классическим статистическим анализом мы применили методы машинного обучения в задаче классификации стран импортеров зерновых в разрезе импорта зерновых из России и предсказанию, в какую экспортную российскую категорию попадет страна. Эта задача важна с точки зрения определения приоритетных направлений экспорта. Проведенный анализ позволил определить несколько стран, которые могут стать приоритетными направлениями экспорта зерновых.

Article metrics

Views:207
Downloads:2
Views
Total:
Views:207