<<
>>

2.2.1. Обучение радиальных нейронов СНРБ-сети.

В качестве нейронов скрытого слоя выбраны RBF-нейроны с обратной пороговой функцией в качестве активационной, т.е. активационная функция возвращает единицу при значении аргумента меньше или равном пороговому значению, и ноль в противном случае.
Аргумент активационной функции вычисляется как расстояние, зависящее от выбранной метрики, между входным вектором и вектором синаптических весов. Таким образом, понятно, что областью активации отдельного нейрона является внутренняя область гиперсферы (гипершар). Для удобства описания алгоритма обучения распределим обучающую выборку

на несколько подмножеств. tC^^Ncurrmt g подмножество неклассифицированных элементов N будут входить образцы, которые

должны быть классифицированы. В подмножество классифицированных элементов С будут соответственно относиться элементы обучающего множества, которые нейронная сеть классифицирует корректно. Такое условное деление существует во время всего процесса обучения. Очевидно, что критерием завершения обучения служит обращение множества неклассифицированных элементов в пустое множество. N=0 Оставшиеся два подмножества характеризуют процесс обучения отдельного нейрона. Это множество правильно классифицированных элементов текущим нейроном C№rrt,„, и множество неправильно классифицируемых данным нейроном. Происхождение этих подмножеств понятно из следующего: при добавлении нового нейрона некоторые элементы из множества Смогут попасть в область активации этого нового нейрона и следовательно должны перейти в множество С при окончании; обучения нейрона, но так как процесс итеративный, они временно помещаются в множество названное как Ссиггем. Аналогично, может случиться, что элемент множества С попадает в область активации нового нейрона, и он будет отнесет к множеству N^^ Таким образом, легко подсчитать полезный вклад в классификацию, вносимый новым нейроном: он будет равен разности количеств элементов в множествах Ссиггем и Namт- Инициализация состоит в приравнивании к пустому множеству C^tvrrent=Ncurrent^* 2lN - это обучающая выборка. Дальнейшее обучение делится на два этапа.

На первом этапе обучения RBF-слоя к нему последовательно добавляются нейроны, сформированные таким образом, чтобы их область активации: покрывала все элементы обучающего множества из множества еще не Классифицированных N, принадлежащие к выбранному случайным , образом классу. При этом как упоминалось выше, элементы из С попадающие в область действия нового нейрона относятся в множество Ncurrem• При этом сформированный нейрон становится частью сети только в том случае, если он вносит положительный вклад в классификацию. Q(Ccurrent) " Q(Ncurrent) >7, где Q(x) - количество элементов множества X. После добавления нового нейрона в слой: С—С U С№П-ел^, N=NXJ Nnrreni, C

<< | >>
Источник: Стадник Алексей Викторович. Использование искусственных нейронных сетей и вейвлет-анализа для повышения эффективности в задачах распознавания и классификации. 2004

Еще по теме 2.2.1. Обучение радиальных нейронов СНРБ-сети.: