THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES

Рыков В.П.

Аспирант, Тамбовский государственный университет им. Г.Р. Державина

МОДУЛЬНЫЙ ПРИНЦИП ОБУЧЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ (ИНС) С ИСПОЛЬЗОВАНИЕМ НЕЖЕСТКИХ МОДУЛЕЙ

Аннотация

В статье рассматривается эффективность и актуальность  модульного принципа обучения искусственных нейронных сетей, в том числе – идея использования нежестких модулей ИНС для повышения качества и гибкости обучения.

Ключевые слова: искусственные нейронные сети, модульный принцип.

Rykov V.P.

Postgraduate student, Tambov State University named after G.R. Derzhavin

THE MODULAR PRINCIPLE OF TRAINING OF THE ARTIFICIAL NEURAL NETWORKS (ANN) WITH USE OF NONRIGID MODULES

Abstarct

The article reviews the effectiveness and relevance of the modular principle training of artificial neural networks, including - the idea of use nonrigid modules ANN to improve the quality and flexibility training.

Keywords: artificial neural networks, modular principle.

Искусственные нейронные сети сегодня – это мощный инструмент моделирования, который отлично зарекомендовал себя в научных исследованиях и практических приложениях. Однако их использование на практике предполагает некоторые неудобства, одним из которых является необходимость значительных временных затрат, направленных на обучение сети [1]. Это связано с необходимостью, во всех случаях, обучения всей нейронной сети полностью, в то время как в реальном объекте – мозге – при поступлении какой либо новой информации не происходит переобучения всей системы целиком, обучаются лишь отдельные  блоки нейронной сети [2]. Таким образом, решением проблемы может стать использование идей и методов модульного принципа обучения.

Модульный принцип обучения представляет собой поиск решения не во всем пространстве весовых коэффициентов (например, размерности n), а лишь в некоторой его части (в пространстве n-k, k – число неизменяемых весовых коэффициентов).

Рассмотрим модульный принцип более подробно. Пусть P – количество итераций, необходимое для обучения всей нейронной сети. Пусть ИНС состоит из M модулей, тогда количество итераций, необходимых для обучения нейронной сети с использованием модульного принципа:

 

   (1)

    (2)

где N – число обучаемых модулей; k – число необучаемых (зафиксированных) модулей; p_i – количество итераций, необходимых для обучения i-го модуля ИНС.

     (3)

где A – обозначает алгоритм подбора коэффициентов; n_w – число весов в обучаемом модуле.

Таким образом, в случае, когда мы имеем уже отлаженный блок нейронной сети, мы можем не переобучать его, а произвести поиск только лишь не настроенных коэффициентов, что аналогично работе мозга – при поступлении новых данных переобучения всей системы не происходит. Поэтому, количество итераций, необходимое на обучение ИНС полностью будет значительно большим, чем количество итерации при использовании модульного принципа:

    (4)

Однако, как поступить в том случае, когда ИНС абсолютно не обучена, т.е. в сети еще нет отлаженных блоков? Можно ли использовать модульный принцип обучения искусственных нейронных сетей для настройки весовых коэффициентов «с нуля»?

Для получения эффекта, выражающегося в экономии времени, повышения качества результата и гибкости при обучении ИНС, от применения модульного принципа структуру сети следует корректно декомпозировать на модули [3]. Кроме того, возможно использование так называемых нежестких модулей. Под нежестким модулем нейронной сети будем понимать такой модуль, у которого, при каждой попытке обучения, количество обучаемых нейронов и связей будет варьироваться. Что подразумевается под попыткой обучения модуля? Модульный принцип обучения нейронных сетей может быть неэффективным в том случае, когда обучение каждого из модулей осуществляется «до конца». Обучать каждый из модулей необходимо постепенно и поочередно, а в случае использования нежестких модулей – еще и варьируя конфигурацию модуля. Т.е. каждый из модулей ИНС будет обучаться постепенно несколько раз до тех пор, пока ошибка сети не будет равна требуемой. Идея, таким образом, заключается в постепенном подборе весовых коэффициентов для каждого из модулей сети [4].

 

Рис. 1 - Модель модульного принципа обучения

 

В случае же использования нежестких модулей, к предложенной выше схеме добавится еще одно звено:

Рис. 2 - Модель модульного принципа обучения с использованием нежестких модулей

 

Таким образом, использование нежестких модулей позволяет варьировать, для каждого модуля, не только алгоритм и параметры обучения, но и количество нейронов, межнейронных связей, типы активационных функций и т.д. Данное обстоятельство обеспечивает не только значительно более гибкие возможности для обучения искусственных нейронных сетей, но и позволяет глубже понять характер моделируемого сетью объекта и предоставляет больший контроль за обучением.

Безусловно, идея использования нежестких модулей для эффективного применения модульного принципа обучения искусственных нейронных сетей представляется перспективной, поэтому будет развиваться и рассматриваться глубже.

Открытым остается вопрос: любую ли ИНС можно эффективно обучать с использованием модульного принципа обучения? Если рассматривать эффективность с точки зрения контроля за обучением, гибкости и качества обучения сети, то, исходя и вышесказанного, а также из предыдущих работ, посвященных модульному принципу, можно дать утвердительный ответ. Однако если рассматривать эффективность с точки зрения экономии временных ресурсов, то,  в данном случае, ответ не столь очевиден, поэтому поставленный выше вопрос о количестве искусственных нейронов и связей в структуре ИНС для эффективности использования модульного принципа обучения с точки зрения экономии временных ресурсов, требует дальнейшего исследования.