2.2.4 Обоснование целевых значений
В задачах классификации, целевые выходы типично являются бинарными (например [-1, + 1]), то есть целевые значения устанавливаются по асимптотам активационной функции. Однако, такой подход имеет несколько недостатков [70].
Первый, результат обучения может быть нестабилен.
Процесс обучения будет настраивать выход как можно близко к целевым значениям, которые могут быть достигнуты только асимптотически. В результате синаптические коэффициенты (выходного слоя и скрытых слоев) будут стремятся к большим ибольшим значениям, в которых производная активационной функции - близка к нулю. Очень большие синаптические коэффициенты увеличивают градиенты, однако, эти градиенты, умноженные на маленькую производную активационной функции, дадут приращение синаптического коэффициента близкое к нулю. В результате коррекция синаптических коэффициентов может стать незна-чительной.
Второй, когда выход насыщенный нейронная сеть не дает уверенности в правильности классификации. Когда входной образ находится на границе решения, результат классификации сомнителен. Однако, большие значения весовых коэффициентов имеют тенденцию смещать выходное значение к хвостам активационной функции независимо от класса. Таким образом, сеть может предсказать неправильный класс, не давая уверенности в результате.
Решение этих проблем состоит в том, чтобы заставить целевые значения быть в пределах диапазона активационной функции, а не по асимптотам, то есть в качестве активационной функции в данной работе используется функция (2 \
[70].
—х
v3 у
_у = 1.7159tanh
Наилучшим способом избегания насыщения активационной функции является установка целевых значений на грани максимума второй производной активационной функции.
Рис. 2.6. Используемая активационная функция
Это является причиной использования функции активации указанной на рисунке 2.6. Она имеет максимальную вторую производную в ±1, которые со-ответствуют целевым значениям, типичным в проблемах классификации.