ORGANIZATION OF A CONFIGURABLE HARDWARE-BASED NEUROCOMPUTER

ОРГАНИЗАЦИЯ НАСТРАИВАЕМОГО АППАРАТНОГО НЕЙРОВЫЧИСЛИТЕЛЯ

Научная статья

Гузик В.Ф.¹, Ляпунцова Е.В.², Черный С.А.³, Шестаков А.В.^4, *

^{1, 3, 4} Южный федеральный университет, Ростов-на-Дону, Россия;

² Московский Государственный Технический Университет им. Н.Э. Баумана, Москва, Россия

* Корреспондирующий автор (trtualval[at]rambler.ru)

Аннотация

Статья посвящена рассмотрению организации аппаратного настраиваемого нейровычислителя, с учетом возможностей использования нейросетевого инструментария в рамках процессов когнитивного моделирования. Предлагаемый подход направлен на достижение приемлемого компромисса между такими критериями, как быстродействие и универсальность. Реализация указанного подхода осуществляется за счет создания двухуровневой структуры, где верхний уровень составляет информационная модель нейросетевых вычислений, отражающая конфигурацию моделируемой сети, нижний уровень – аппаратные схемы, непосредственно выполняющие элементарные нейросетевые вычисления. Рассмотрена организация подготовки управляющей информационной модели, структура и особенности функционирования аппаратной нейровычислительной платформы. Приводятся также описания дополнительных решений, позволяющих в определенной степени организовывать параллельные нейровычисления.

Ключевые слова: нейровычислитель, нейронный операционный модуль, поле памяти, интерфейсный пакет, аккумулирующий сумматор, управляемые коммутации.

ORGANIZATION OF A CONFIGURABLE HARDWARE-BASED NEUROCOMPUTER

Research article

Guzik V.F.¹, Lyapuntsova E.V.², Chernyi S.A.³, Shestakov A.V.^4, *

^{1, 3, 4} Southern Federal University, Rostov-on-Don, Russia;

² Bauman Moscow State Technical University, Moscow, Russia

* Corresponding author (trtualval[at]rambler.ru)

Abstract

The article discusses the organization of a hardware-based and configurable neural calculator, taking into account the possibilities of using neural network tools in the framework of cognitive modeling processes. The proposed approach is aimed at achieving an acceptable compromise between such criteria as speed and versatility. The implementation of this approach is carried out by creating a two-level structure, where the upper level is an information model of neural network computing reflecting the configuration of the simulated network, while the lower level is hardware circuits that directly perform elementary neural network computing. The article also examines the organization of the preparation of the control information model and the structure and features of the functioning of the hardware neural computing platform. There are also descriptions of additional solutions that allow for organizing parallel neural calculations to a certain extent.

Keywords: neural computer, neural operating module, memory field, interface package, accumulating adder, controlled switching.

Введение

В качестве одного из инструментариев для обработки когнитивных структур может быть предложен аппарат нейросетевого моделирования. Особенности данного подхода рассмотрены в [1], [2], при этом представлены схемы моделирования, основанные на циклически повторяемых вычислениях на нейросетевых моделях, являющихся отображением соответствующих когнитивных сетей. Это обуславливает целесообразность исследований в области обеспечения приемлемой эффективности нейровычислений. Естественно, разрешение указанной проблемы может быть успешно использовано не только применительно к обработке когнитивных структур, но и для различных приложений моделирования нейросетевых структур, не связанных с когнитивной проблематикой.

Принципы реализации

В данном контексте наиболее перспективным и достаточно широко используемым, является подход, связанный с переносом вычислительных процессов с программной на аппаратную платформу [3], [4]. При этом максимальная эффективность нейросетевых вычислений достигается за счет прямого отображения нейросетевой модели (НСМ) на схемотехническую платформу. Несмотря на очевидное преимущество подобной схемы, следует указать на ряд присущих ей недостатков. Первый из них связан с жесткой аппаратной фиксацией моделируемой сети, что фактически делает невозможным оперативную корректировку или смену реализуемой модели. Кроме того, прямое схемное отображение моделируемой сети для больших нейросетей приводит к получению сложной схемной структуры. Можно указать, что прямое схемотехническое отображение обеспечивает максимальное быстродействие при минимальной степени гибкости. Реализации моделирования нейронных сетей на программной платформе, напротив, является наиболее универсальными, но имеет заметно меньшее быстродействие.

В настоящей работе предлагается и рассматривается определенное компромиссное решение (между программной и прямой схемотехнической реализациями), связанное с организацией некоторой универсальной платформы, в которой моделируемая нейросеть описывается в виде информационного объекта, а собственно нейросетевые вычислительные операции имеют прямые аппаратные представления. Таким образом, речь идет о создании некоторого гибридного вычислителя, вычислительные операции в котором выполняются непосредственно на аппаратной платформе, а управление реализуется на основе обработки «мягкого» информационного описания модели. Подобную платформу нельзя охарактеризовать как чисто аппаратную, что, естественно, вызывает определенное снижение ее эффективности, однако, можно указать ряд преимуществ, обуславливаемых предлагаемым подходом. Речь идет о возможности создания многомодельной платформы с оперативной подкачкой моделей. Рассматриваемая платформа будет в дальнейшем именоваться как аппаратно настраиваемый нейровычислитель (АННВ).

Особенности реализации

Общая структура АННВ приводится на рисунке и отражает предложенный двухуровневый подход. Жизненный цикл произвольной нейросетевой модели в рамках АННВ включает два этапа.

Первый этап – подготовительный, связан с формированием информационной модели, описывающий алгоритм нейровычислений – «Управляющей ленты алгоритма» (ЛА). Логическое представление ЛА отражает топологию моделируемой сети и формируется, как последовательность элементарных нейровычислителей (ЭНВ). Под нейровычислителем подразумевается вычислительная функция или процедура из совокупности которых формируется математическая модель нейроэлемента (например – процедура пространственной суммации, функция сигмоида и т.п.). Очевидно, что логическое представление ЛА определяется, с одной стороны, топологией моделируемой сети, с другой стороны – типом используемых в сети нейроэлементов. Топология сети, базирующаяся на графовом представлении [5], [6] определяет порядок (очередность) исполнения ЭНВ, тип нейроэлементов - математическое содержание ЭНВ. Естественно, система ЭНВ должна обладать функциональной полнотой с точки зрения возможности моделирования всех известных типов нейроэлементов [7], [8]. Формирование ЛА осуществляется с использованием специального инструмента - транслятора, который переводит исходное описание моделируемой нейросети (например, в виде матриц смежности или инцидентности) в кодированную запись ЛА.

Рис. 1 – Аппаратно настраиваемый нейровычислитель

  Схематехнический образ кодирования ЭНВ в составе ЛА представляется триадой вида: сх_ЭНВ=<{А_вх}, А_энв, А_вых >, здесь:

{А_вх} – множество адресов ячеек со значениями входных данных для исполнения функции нейровычислителя;

А_энв – адрес инициализации схемы;

А_вых – адрес ячейки памяти для записи выходного значения (результата) исполнения схемы.

Рассмотренную триаду можно охарактеризовать, как коммутационно – инициализационную, т.е. определяющую запуск схемы для исполнения и ее коммутацию с адресными полями. Первый этап можно определить как подготовительный, второй этап, как исполнительный. Соответственно, в составе АННВ выделяются две структуры:

- подготовительная структура;

- исполнительная структура.

Исполнительная структура формируется в составе 5 компонент.

Исполнительный буфер представляет собой оперативное запоминающее поле, в которое загружается актуальная ЛА, подлежащая исполнению.

Интерпретирующий автомат последовательно сканирует ЛА и формирует управляющие сигналы коммутации и инициализации в соответствии с текущей обрабатываемой (интерпретируемой) триадой.

Операционное поле представляет собой определенным образом структурированный набор схемных реализаций ЭНВ. С одной стороны, в состав набора включаются модели ЭНВ, позволяющие обеспечить обработку всех известных типов моделей нейроэлементов. Кроме того, реализуется несколько экземпляров однотипных ЭНВ, для обеспечения возможностей параллельных вычислений.

Схемные элементы собираются в т.н. контейнеры. Каждый такой контейнер, кроме набора схемных элементов содержит локальный буфер для загрузки кванта ЛА, а также локальное поле памяти, что позволяет подобному контейнеру функционировать автономно, обрабатывая определенный квант ЛА. Учитывая регулярность нейросетевых структур, на уровне трансляции, помимо кодирования последовательности триад, формируются управляющие спецсимволы разметки участков для параллельной обработки.

Поле памяти формируются из адресуемых ячеек памяти для хранения результатов вычислений.

Интерфейсные пакеты составляют адресные, информационные и управляющие шины. Шины группируются в отдельные независимые пакеты, что опять же направлено на обеспечение параллельных вычислений.

Заключение

Предложенная в настоящей статье двухуровневая аппаратная платформа нейросетевого моделирования позволяет с одной стороны повысить эффективность вычислительного процесса (как за счет собственно выполнения вычислений на аппаратной платформе, так и за счет организации параллельной обработки), с другой стороны, обеспечить "мягкую" и оперативную перенастройку обрабатываемых моделей.

Использование настоящей платформы применительно к задачам нейрокогнитивного моделирования, связанных с большими объемами вычислений (например, при решении задач динамического оптимизационного анализа [9], [10], [11]) позволяет реализовать указанные схемы с приемлемой эффективностью.

Финансирование Исследование выполнено при поддержке РФФИ в рамках научного проекта №19-01-00412 и №19-07-00570.	Funding The reported study was funded by RFBR according to the research projects no19-01-00412 and no 19-07-00570.
Конфликт интересов Не указан.	Conflict of Interest None declared.

Список литературы / References

1. Guzik V.F. Fuzzy Cognitive Maps Considering Real Parameters of Simulated Systems / V.F. Guzik, A.S. Gamisonia, S.A. Chernyj et al. // International Journal of Innovation, Creativity and Change. –2019. – Volume 7, Issue – P. 153 – 160.
2. Пьявченко А.О. Организация формально когнитивных нейросетей для исследования слабоформализуемых систем./ А.О. Пьявченко, С.А. Черный, А.В. Шестаков и др. // Международный научно-исследовательский журнал. 2020. №8 (98) С. 148-153
3. Грибачев В. П. Настоящее и будущее нейронных сетей / В.П. Грибачев // Компоненты и технологии. 2006. № 5 С. 34-39
4. Моисейченко, В. С. Аппаратная реализация искусственных нейронных сетей. Часть 1 / В. С. Моисейченко. — Молодой ученый. — 2017. — № 12 (146). С. 69-72
5. Зыков А.А. Основы теории графов / А.А. Зыков — М.: Вузовская книга, 2004. — 664 С.
6. Оре О. Теория графов. 2-е изд. / О. Оре — М. :Наука. 1980. — 336 С.
7. Чернухин Ю.В. Искусственный интеллект и нейрокомпьютеры. / Ю.В. Чернухин Таганрог. Изд-во ТРТУ, 1997, 273 С.
8. Стефанюк В.Л. Реальность и прогнозы искусственного интеллекта / В.Л. Стефанюк. М. Мир, 2007, 274 С.
9. Гузик В.Ф. Модели нейронов с памятью состояния для организации нейроэволюционных вычислений / В.Ф. Гузик., С.А. Черный, А.В. Шестаков // Научный журнал КубГАУ. – 2017. − № 133(09) − С. 467 – 474.
10. Гузик В.Ф. Принципы организации формально – когнитивных моделей. / В.Ф. Гузик, Е.Р. Мунтян, С.А. Черный и др. // Современная наука. Серия «Естественные и технические науки».­ 2020 № 11 С. 86 70
11. Гузик В. Ф. Высокопроизводительные вычислительные системы и квантовая обработка информации. / В.Ф. Гузик, С.М. Гушанский, Ляпунцова Е.В., и др. // Южный федеральный университет. – Ростов-на-Дону; Таганрог: Издательство Южного федерального университета, 2021, - 202 С.

Список литературы на английском языке / References in English

1. Guzik V.F. Fuzzy Cognitive Maps Considering Real Parameters of Simulated Systems / V.F. Guzik, A.S. Gamisonia, S.A. Chernyj et al. // International Journal of Innovation, Creativity and Change. –2019. – Volume 7, Issue – P. 153 – 160.
2. Piavchenko A.O. Organizacija formal'no kognitivnykh nejjrosetejj dlja issledovanija slaboformalizuemykh sistem [Organization of formally cognitive neural networks for the study of weakly formalized systems] / A.O. Piavchenko, S.A. Black, A.V. Shestakov et al. // Mezhdunarodnyjj nauchno-issledovatel'skijj zhurnal [International Research Journal].  2020. No.8 (98) pp. 148-153 [in Russian]
3. Gribachev V. P. Nastojashhee i budushhee nejjronnykh setejj [The present and the future of neural networks] / V.P. Gribachev V.P. // Komponenty i tekhnologii [Components and technologies]. 2006. No. 5 pp. 34-39 [in Russian]
4. Moiseichenko, V. S. Apparatnaja realizacija iskusstvennykh nejjronnykh setejj. [Hardware implementation of artificial neural networks. Part 1] / V. S. Moiseichenko. - Molodojj uchenyjj [Young scientist]. — 2017. — № 12 (146), pp. 69-72 [in Russian]
5. Zykov A.A. Osnovy teorii grafov [Fundamentals of graph theory] / A.A. Zykov - M.: University book, 2004 — 664 P. [in Russian]
6. Ore O. Teorija grafov [Graph theory] / O. Ore. 2nd ed. - M. : Nauka. 1980. — 336 P. [in Russian]
7. Chernukhin Yu.V. Iskusstvennyjj intellekt i nejjrokomp'jutery [Artificial intelligence and neurocomputers] / Yu.V. Chernukhin. Taganrog. TRTU Publishing House, 1997, 273 P. [in Russian]
8. Stefanyuk V.L. Real'nost' i prognozy iskusstvennogo intellekta [Reality and forecasts of artificial intelligence] / V.L. Stefanyuk. ­M. Mir, 2007, 274 P. [in Russian]
9. Guzik V.F. Modeli nejjronov s pamjat'ju sostojanija dlja organizacii nejjroehvoljucionnykh vychislenijj [Models of neurons with state memory for the organization of neuroevolutionary computing] / V.F. Guzik., S.A. Black, A.V. Shestakov // Nauchnyjj zhurnal KubGAU [Scientific journal of KubGAU]. – 2017. − № 133(09) − pp. 467-474 [in Russian]
10. Guzik V.F. Principy organizacii formal'no – kognitivnykh modelejj [Principles of the organization of formal cognitive models] / V.F. Guzik, E.R. Muntyan, S.A. Black et al. // Sovremennaja nauka. Serija «Estestvennye i tekhnicheskie nauki» [Modern Science. The series "Natural and Technical Sciences"]. 2020 No. 11 p . 86 -70 [in Russian]
11. Guzik V. F. Vysokoproizvoditel'nye vychislitel'nye sistemy i kvantovaja obrabotka informacii [High-performance computing systems and quantum information processing] / V.F. Guzik, S.M. Gushansky, E.V. Lyapuntsova et al. // Southern Federal University. - Rostov-on-Don; Taganrog: Southern Federal University Press, 2021, 202 p. [in Russian]