1.2.11 Нейронные сети, обучаемые по методу имитации отжига.
размещения микросхем на печатной плате. Этот алгоритм обладает высокой эффективностью и используется для обучения нейронных сетей. Алгоритм отжига может быть использован д ля обучения как многослойных, так и полносвязных сетей. Что особенно важно - функции активации сети не обязательно должны быть непрерывно дифференцируемыми. В качестве функции ошибки можно использовать традиционное среднеквадратичное отклонение. Существует две разновидности алгоритма отжига:
Градиентный алгоритм с изменением величины шага по правилу отжига. На каждой итерации вычисляется направление антиградиента адаптивного рельефа и делается шаг заданной величины. В процессе обучения величина шага уменьшается с увеличением номера итерации. Большие значения шага на начальных итерациях обучения приводят к тому, что значение функции ошибки на некоторых итерациях может возрастать. В конце обучения величина шагов мала, значение функции ошибки уменьшается на каждой итерации.
Стохастический алгоритм. В процессе обучения совершаются шаги по адаптивному рельефу в случайных направлениях.
Пусть на итерации ? система находится в точке S адаптивного рельефа, характеризующейся значением энергии Е, Шаг из точки S в точку 5" со значением энергии Е' (Е*>Е), приводящий к увеличению значения функции ошибки (энергии) на величину (Е'-Е), допускается с вероятностью..Критерий останова сети в процессе функционирования зависит от структуры сети:
функционирование многослойных сетей без обратных связей заканчивается после получения выходных сигналов нейронов последнего слоя, • для сетей циклического функционирования (полносвязных, многослойных с обратными связями и т.д.) могут вводиться различные критерии останова: останов после К итераций, останов после того, как выходные сигналы перестанут меняться. Критерием останова для процесса обучения может служить достижение некоторого заданного значения функции ошибки.
Тип входных и выходных сигналов может быть любым. Размерности входа и выхода ИНС могут быть любыми, ограничения возникают в связи со скоростью обучения - алгоритм для сетей больших размерностей медленно сходится..
Количество весовых коэффициентов или синапсов сети ограничено скоростью обучения. Для сетей с числом синапсов порядка нескольких сотен алгоритм имитации отжига очень эффективен. Для программно реализованных на персональном компьютере сетей с десятками тысяч настраиваемых параметров процесс обучения по методу отжига длится катастрофически долго.
Области применения: С помощью алгоритма отжига можно строить любые отображения X->Y, где Хи Y- векторы некоторой размерности. К построению таких отображений сводятся многие задачи распознавания образов, адаптивного управления, многопараметрической идентификации, прогнозирования и диагностики. Недостатком является низкая скорость сходимости при обучении нейронных сетей большой размерности. Главным преимуществом являются "тепловые флуктуации", заложенные в алгоритм, которые дают возможность не задерживаться в локальных минимумах. Показано, что алгоритм отжига может быть использован для поиска глобального оптимума адаптивного рельефа нейронной сети. Алгоритмы отжига различаются структурами нейронных сетей, для обучения которых они используются, а также правилами, в
б
соответствии с которыми допускаются шаги, увеличивающие энергию системы. Метод отжига использовался также для решения задач оптимизации с помощью нейронных сетей, в частности, задачи коммивояжера. Источники: [73], [3], [4], [5].