Pages Navigation Menu
Submit scientific paper, scientific publications, International Research Journal | Meždunarodnyj naučno-issledovatel’skij žurnal

ISSN 2227-6017 (ONLINE), ISSN 2303-9868 (PRINT), DOI: 10.18454/IRJ.2227-6017
ЭЛ № ФС 77 - 80772, 16+

Download PDF ( ) Pages: 118-120 Issue: № 9 (16) Part 1 () Search in Google Scholar
Cite

Cite


Copy the reference manually or choose one of the links to import the data to Bibliography manager
Rykov V.P., "THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES". Meždunarodnyj naučno-issledovatel’skij žurnal (International Research Journal) № 9 (16) Part 1, (2021): 118. Wed. 13. Oct. 2021.
Rykov, V.P. (2021). MODULYNYY PRINCIP OBUCHENIYA ISKUSSTVENNYH NEYRONNYH SETEY (INS) S ISPOLYZOVANIEM NEGHESTKIH MODULEY [THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES]. Meždunarodnyj naučno-issledovatel’skij žurnal, № 9 (16) Part 1, 118-120.
Rykov V. P. THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES / V. P. Rykov // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal. — 2021. — № 9 (16) Part 1. — С. 118—120.

Import


THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES

Рыков В.П.

Аспирант, Тамбовский государственный университет им. Г.Р. Державина

МОДУЛЬНЫЙ ПРИНЦИП ОБУЧЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ (ИНС) С ИСПОЛЬЗОВАНИЕМ НЕЖЕСТКИХ МОДУЛЕЙ

Аннотация

В статье рассматривается эффективность и актуальность  модульного принципа обучения искусственных нейронных сетей, в том числе – идея использования нежестких модулей ИНС для повышения качества и гибкости обучения.

Ключевые слова: искусственные нейронные сети, модульный принцип.

Rykov V.P.

Postgraduate student, Tambov State University named after G.R. Derzhavin

THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES

Abstarct

The article reviews the effectiveness and relevance of the modular principle training of artificial neural networks, including – the idea of use nonrigid modules ANN to improve the quality and flexibility training.

Keywords: artificial neural networks, modular principle.

Искусственные нейронные сети сегодня – это мощный инструмент моделирования, который отлично зарекомендовал себя в научных исследованиях и практических приложениях. Однако их использование на практике предполагает некоторые неудобства, одним из которых является необходимость значительных временных затрат, направленных на обучение сети [1]. Это связано с необходимостью, во всех случаях, обучения всей нейронной сети полностью, в то время как в реальном объекте – мозге – при поступлении какой либо новой информации не происходит переобучения всей системы целиком, обучаются лишь отдельные  блоки нейронной сети [2]. Таким образом, решением проблемы может стать использование идей и методов модульного принципа обучения.

Модульный принцип обучения представляет собой поиск решения не во всем пространстве весовых коэффициентов (например, размерности n), а лишь в некоторой его части (в пространстве n-k, k – число неизменяемых весовых коэффициентов).

Рассмотрим модульный принцип более подробно. Пусть P – количество итераций, необходимое для обучения всей нейронной сети. Пусть ИНС состоит из M модулей, тогда количество итераций, необходимых для обучения нейронной сети с использованием модульного принципа:

13-10-2021 13-10-27   (1)

13-10-2021 13-10-37    (2)

где N – число обучаемых модулей; k – число необучаемых (зафиксированных) модулей; pi – количество итераций, необходимых для обучения i-го модуля ИНС.

13-10-2021 13-10-53     (3)

где A – обозначает алгоритм подбора коэффициентов; nw – число весов в обучаемом модуле.

Таким образом, в случае, когда мы имеем уже отлаженный блок нейронной сети, мы можем не переобучать его, а произвести поиск только лишь не настроенных коэффициентов, что аналогично работе мозга – при поступлении новых данных переобучения всей системы не происходит. Поэтому, количество итераций, необходимое на обучение ИНС полностью будет значительно большим, чем количество итерации при использовании модульного принципа:

13-10-2021 13-11-13    (4)

Однако, как поступить в том случае, когда ИНС абсолютно не обучена, т.е. в сети еще нет отлаженных блоков? Можно ли использовать модульный принцип обучения искусственных нейронных сетей для настройки весовых коэффициентов «с нуля»?

Для получения эффекта, выражающегося в экономии времени, повышения качества результата и гибкости при обучении ИНС, от применения модульного принципа структуру сети следует корректно декомпозировать на модули [3]. Кроме того, возможно использование так называемых нежестких модулей. Под нежестким модулем нейронной сети будем понимать такой модуль, у которого, при каждой попытке обучения, количество обучаемых нейронов и связей будет варьироваться. Что подразумевается под попыткой обучения модуля? Модульный принцип обучения нейронных сетей может быть неэффективным в том случае, когда обучение каждого из модулей осуществляется «до конца». Обучать каждый из модулей необходимо постепенно и поочередно, а в случае использования нежестких модулей – еще и варьируя конфигурацию модуля. Т.е. каждый из модулей ИНС будет обучаться постепенно несколько раз до тех пор, пока ошибка сети не будет равна требуемой. Идея, таким образом, заключается в постепенном подборе весовых коэффициентов для каждого из модулей сети [4].

13-10-2021 13-13-35

Рис. 1 – Модель модульного принципа обучения

В случае же использования нежестких модулей, к предложенной выше схеме добавится еще одно звено:

13-10-2021 13-13-51

Рис. 2 – Модель модульного принципа обучения с использованием нежестких модулей

Таким образом, использование нежестких модулей позволяет варьировать, для каждого модуля, не только алгоритм и параметры обучения, но и количество нейронов, межнейронных связей, типы активационных функций и т.д. Данное обстоятельство обеспечивает не только значительно более гибкие возможности для обучения искусственных нейронных сетей, но и позволяет глубже понять характер моделируемого сетью объекта и предоставляет больший контроль за обучением.

Безусловно, идея использования нежестких модулей для эффективного применения модульного принципа обучения искусственных нейронных сетей представляется перспективной, поэтому будет развиваться и рассматриваться глубже.

Открытым остается вопрос: любую ли ИНС можно эффективно обучать с использованием модульного принципа обучения? Если рассматривать эффективность с точки зрения контроля за обучением, гибкости и качества обучения сети, то, исходя и вышесказанного, а также из предыдущих работ, посвященных модульному принципу, можно дать утвердительный ответ. Однако если рассматривать эффективность с точки зрения экономии временных ресурсов, то,  в данном случае, ответ не столь очевиден, поэтому поставленный выше вопрос о количестве искусственных нейронов и связей в структуре ИНС для эффективности использования модульного принципа обучения с точки зрения экономии временных ресурсов, требует дальнейшего исследования.

Литература

  1. Арзамасцев А.А., Рыков В.П. Модель искусственной нейронной сети (ИНС) с реализацией модульного принципа обучения // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 4. С. 1219-1224.
  2. Арзамасцев А.А., Зенкова Н.А. Искусственный интеллект и распознавание образов: учеб. пособие. Тамбов, 2010.
  3. Рыков В.П. О вариантах декомпозиции искусственных нейронных сетей для дальнейшего обучения с использованием модульного принципа // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1421-1422.
  4. Рыков В.П. Автоматизированная технология модульного принципа обучения и самоорганизации искусственных нейронных сетей // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1428-1430.

Leave a Comment

Your email address will not be published. Required fields are marked *

Лимит времени истёк. Пожалуйста, перезагрузите CAPTCHA.