A COMPARISON OF SOFTMAX AND SIGMOID ACTIVATION FUNCTIONS IN THE CONTEXT OF MULTI-CLASS OBJECT RECOGNITION CLASSIFICATION

Research article
DOI:
https://doi.org/10.60797/IRJ.2024.144.174
Issue: № 6 (144), 2024
Suggested:
24.03.2024
Accepted:
11.06.2024
Published:
17.06.2024
123
6
XML
PDF

Abstract

This article studies an important problem related to the application of softmax function in multiclass object classification tasks. The paper describes the structure and operation of an artificial neuron, as well as the principle of activation functions on the example of an adder. In particular, it considers the situation when input data does not correspond to any of the classes in the dataset, which can lead to incorrect model outputs. This calls into question the accuracy of classification and requires systematic control and handling of such cases. This work proposes an alternative approach using a sigmoidal activation function and setting a threshold value to determine whether an object belongs to the classification classes. The approach allows for a more accurate evaluation of classification results and avoiding false conclusions.

1. Введение

В создании искусственных нейронных сетей одним из ключевых аспектов является выбор функции активации. Эта функция определяет поведение нейрона и формирует выходной сигнал в зависимости от входных данных. Среди различных функций активации функции softmax и сигмоиды играют особенно важную роль в задачах классификации.

В данном исследовании мы сосредоточимся на проблеме, которая возникает при использовании функции softmax в задачах многоклассовой классификации, когда входные данные не соответствуют ни одному из классов в наборе данных. Это может привести к неправильным выводам и потребности в контроле таких ситуаций.

Далее мы предложим альтернативный подход, в котором используется функция активации сигмоиды и устанавливается пороговое значение для определения принадлежности объекта к классам классификации. Этот подход позволяет улучшить точность классификации и избежать ложных результатов.

2. Основы функций активации и математические уравнения функции softmax и сигмоиды

Одним из важных факторов при создании искусственных нейронных сетей вообще и нейронных сетей распознавания объектов в частности является выбор функции активации. От выбранной функции активации зависят функциональные возможности нейронной сети и выбор метода для её обучения. Функция активации описывает выходное значение нейрона в зависимости от взвешенной суммы его входов и порогового значения срабатывания
. На рисунке 1 представлена структурная схема искусственного нейрона.
Структурная схема искусственного нейрона

Рисунок 1 - Структурная схема искусственного нейрона

Нейронный сумматор осуществляет алгебраическое суммирование взвешенных входных сигналов. Математическое выражение для вычисления выходного сигнала сумматора S имеет следующий вид:

img;

где: xi – выходной сигнал i-го нейрона;

wi – вес i-го нейрона;

n – количество нейронов, входящих в обрабатываемый нейрон.

Сумматор генерирует выходной сигнал net, который затем преобразуется функцией активации. Формула для вычисления net:

img;

где wb – сигнал смещения (bias), отображающий функцию предельного значения.

Функция активации f(S) обрабатывает выходной сигнал сумматора net и формирует нейронный сигнал выхода Y.

В задачах распознавания объектов на изображениях доминируют сверточные нейронные сети (СНС). СНС состоит из сверточных слоев и слоев пулинга, последовательно соединенных друг с другом. Далее эти слои подключаются к полностью связанному слою, который формирует выходные данные. Перед формированием выходных данных используются функции активации. Наиболее распространенные функции активации: Функция softmax и сигмоидальная функция.

3. Сигмоидальная функция

Сигмоидальная функция активации – это нелинейная функция, которая преобразует входное значение в диапазоне от отрицательной бесконечности до положительной бесконечности в значение от 0 до 1. Эта функция активации часто используется в нейронных сетях для задач бинарной классификации

.

Сигмоидальная функция активации представлена формулой

:

img.

Параметр α влияет на крутизну функции. Чем он больше, тем более круче функция. Данным параметром можно задать диапазон входных значений, которые не будут прилегать к минимуму или максимуму функции. Графически сигмоидальная функция активации выглядит как S-образная кривая, которая монотонно возрастает и имеет асимптоты на 0 и 1. В частности, если x > 0, то f(x) > 0.5, а если x < 0, то f(x) < 0.5. Значение 0.5 достигается при x = 0 (см. рис. 2).
График сигмоидальной функции активации

Рисунок 2 - График сигмоидальной функции активации

4. Функция Softmax

Функция Softmax используется для преобразования вектора значений в вероятностное распределение, которое суммируется до 1

. Она особенно полезна в многоклассовой классификации, где необходимо определить вероятности для каждого класса.

Формула функции Softmax выглядит следующим образом:

img;

где zi – это элемент входного вектора, а k – это общее число элементов в векторе.

График функции Softmax представляет собой гладкую кривую, начинающуюся от 0 и заканчивающуюся на 1, что соответствует сумме вероятностей всех элементов вектора. Кривая функции Softmax имеет свойство, что вероятность любого элемента вектора увеличивается, если значения других элементов уменьшаются, что позволяет использовать эту функцию для многоклассовой классификации
(см. рис. 3).
График функции softmax, соответствующий входному вектору z = [1, 2, 3, 4, 1, 2, 3]

Рисунок 3 - График функции softmax, соответствующий входному вектору z = [1, 2, 3, 4, 1, 2, 3]

5. Проблема для задачи многоклассовой классификации

Как упоминалось выше, функция softmax широко используется в задачах многоклассовой классификации. Из-за природы функции softmax все выходные значения будут представлять собой вероятности каждого класса. Независимо от того, какой класс имеет наибольшее значение вероятности, система предсказывает, что входное изображение принадлежит именно этому классу.

Однако, при рассмотрении конкретного примера, такого как классификация знаковых зданий города Москвы

, в которой набор данных включает 13 выходных классов, соответствующих 13 зданиям в городе, возникает проблема интерпретации результатов. Система классификации может точно предсказать здание, если входные данные изображения принадлежат одному из классов набора данных. Однако в случае если входные данные не соответствуют ни одному из классов набора данных (например, изображения реки, горы, человека, странного здания и т. д.), после прохождения через полносвязный слой с применением функции softmax, система все равно выдаст наибольшую вероятность определенного класса из набора, что может привести к ложным выводам и неправильной классификации. Данное явление требует системного контроля и обработки для предотвращения неоправданных результатов.

Сверимся с изображением храма Спаса на Крови, расположенным в городе Санкт-Петербург (см. рис. 4). Очевидно, что это изображение не соответствует ни одному классу в наборе данных (поскольку набор данных представляет собой здания в Москве).
Образец изображения храма Спаса на Крови

Рисунок 4 - Образец изображения храма Спаса на Крови

Даже многие люди могут спутать храм Спаса на Крови с собором Василия Блаженного, потому что они имеют схожую архитектуру. Модель классификации, обученная с помощью трансферного обучения на основе модели InceptionV3
, также предсказала, что на изображении изображено здание Василия Блаженного. Ниже приведен результат модели, если последний слой использует функцию активации softmax:
[[4.2251e-07 8.3223e-06 1.1393e-05 1.3564e-05 2.9395e-06 0.00018633 0.00048449 1.2825e-05 2.5042e-08 4.021e-07 0.99911 0.0001692 2.4293e-09]]
index max: 10
label predict: St. Basils Cathedral

Из результатов видно, что модель, использующая функцию активации softmax, достигает очень высоких результатов (99,91%), поэтому нам очень сложно определить метки для изображений, которые не принадлежат ни к одному классу в наборе данных.

6. Решение

Чтобы решить эту проблему, мы применим функцию активации сигмовидной, а затем посмотрим на полученные результаты. Ниже приведены результаты модели, если к последнему слою применяется сигмовидная функция активации.

[[2.7557e-05 0.014681 9.0419e-05 0.0017351 0.0022757 0.00075092 0.00022904 6.3055e-06 0.00012885 2.1713e-05 0.31547 0.0082597 0.00029327]]
index max: 10

Таким образом, наибольшее значение в слоях классификации по-прежнему находится в 10-м слое (это Собор Василия Блаженного), но полученное значение значительно меньше (0,31547). Помните, что это число не является процентом вероятности для всех классификационных классов.

Поэтому мы можем установить пороговое значение, например 0,5. Если полученное максимальное значение больше 0,5, то мы можем предположить, что входное изображение принадлежит этому классу классификации, в противном случае мы можем заключить, что входное изображение не принадлежит ни одному классу классификации в наборе данных.

[[2.7557e-05 0.014681 9.0419e-05 0.0017351 0.0022757 0.00075092 0.00022904 6.3055e-06 0.00012885 2.1713e-05 0.31547 0.0082597 0.00029327]]
index max: 10
label predict: Unknown
Изображение с контуром рамки обнаружения здания

Рисунок 5 - Изображение с контуром рамки обнаружения здания

7. Заключение

В данной статье мы рассмотрели основы функций активации и их математические уравнения, сфокусировавшись на функциях softmax и сигмоиды. Функция активации играет важную роль в построении и обучении искусственных нейронных сетей, определяя их функциональные возможности. Мы изучили структуру и работу искусственного нейрона, а также принцип действия функций активации на примере сумматора.

Сигмоидальная функция широко используется в задачах бинарной классификации, преобразуя входное значение в диапазон от 0 до 1. Функция softmax, в свою очередь, применяется в многоклассовой классификации, преобразуя вектор значений в вероятностное распределение.

Однако, рассматривая конкретную проблему многоклассовой классификации зданий в городе Москве, мы обнаружили, что использование функции softmax может привести к ложным результатам, особенно когда входные данные не соответствуют ни одному классу в наборе данных. Это ставит под сомнение точность классификации и требует системного контроля и обработки таких случаев.

В заключении мы предложили решение данной проблемы, заключающееся в применении функции активации сигмоиды и установлении порогового значения для определения принадлежности входного изображения к классам классификации. Этот подход позволяет более точно оценивать результаты классификации и избегать ложных выводов.

Article metrics

Views:123
Downloads:6
Views
Total:
Views:123