1.3. Применение полносвязных ИНС
E(s) = -1/2$, s, wijSj (2)
и показал, что для симметричной матрицы весов wy = wyt- с нулевой диагональю wu -0 и асинхронной динамикой сети ее энергия в результате
эволюции убывает в локальные минимумы, соответствующие точкам стабильности сети.
В соответствии с вышесказанным, для нахождения стационарного состояния сети требуется найти точку минимума энергетического функционала по значениям состояний нейронов. Применение с этой целью метода градиентного спуска к функционалу энергии приводит к системе уравнений, определяющей динамику сети.
Sj=l/2(l+sign(-cE/tSj) (3)
Однако процедура итерационного решения системы для случая бинарных нейронов часто приводит в какой-нибудь локальный минимум функционала энергии. Кроме того, во многих практических приложениях ХНС бинарные нейроны оказываются нереалистичной идеализацией. В этой связи Хопфилд в [28] предложил обобщение своей модели ИНС на случай нейронов с непрерывным множеством состояний. Стандартным: путем перехода к нейронам с непрерывными состояниями является введение статистического шума в систему с последующим применением теории среднего поля (см., например, [1,31]), что приводит к усреднению значений состояний нейронов и замене ступенчатой функции на функцию сигмоидального вида:
V,- =1/2(1 +tanh(-H/T) (4)
Здесь температура Г соответствует уровню статистического шума, а Hi =<Јj iv,у Sj>T - локальное среднее поле нейрона. Значения v<, переставшие быть целочисленными, определяют уровень активности нейрона, т.е.
в случае v,- > vmin нейрон считается активным. Температура убывает по схеме "имитационного отжига" (simulated annealing) [30]. С помощью системы уравнений (4) состояния нейронов сети итеративно обновляются до достижения ею стабильной точки. Однако то, что нейроны Sjj теперь не являются бинарными, позволяет оперативно следить за теми из них, которые соединяют точки треков и под стимулирующим воздействием весов постепенно увеличивают уровень своей активности в процессе эволюции сети. В качестве порога уровня активности обычно выбирается vmin = 0.5.Работы Хопфилда породили чрезвычайный интерес к таким сетям, в частности, потому, что устанавливалась явная связь процессов их эволюции с обширным кругом проблем оптимизации, формализуемых обычно как задача поиска экстремума функционала при наличии ограничений на его параметры. К таким задачам относится и задача поиска треков по данным координатных измерений в современных электронных детекторах типа пропорциональных, дрейфовых или стриповых камер. Если просто определять связи между нейронами сети, исходя из измеренных значений координат, то это приводит к чрезмерно большому числу нейронов и еще большему числу межнейронных связей, подавляющее большинство которых не относилось к трекам. В итоге, любая программная реализация сети оказывалась слишком громоздкой и работала настолько медленно, что становилась бесполезной в практических приложениях. Для борьбы с этим "проклятием размерности" весовые функции вводились так, чтобы поощрять связи нейронов, принадлежащих одному и тому же треку, а в функционал энергии вводились "ограничивающие" члены, запрещающие как межтрековые связи, так и чрезмерный рост числа самих треков..