1.1. Искусственные нейронные сети. Их основные типы, используемые в физике.
Напомним вкратце об основных понятиях ИНС и типах ИНС, используемых в физике. Нейроны представляет собой простые логические устройства, характеризуемые:
уровнем активации
топологией связей нейронов друг с другом;
мерой взаимодействия с другими нейронами, называемой синаптической силой связи или весом.
Веса этих связей различны и могут определяться в зависимости от решаемой задачи;выходным уровнем, который связан с уровнем активации посредством
некоторой функции обычно сигмоидального типа; Наиболее привлекательными чертами ИНС являются:
вся система состоит из очень большого числа одинаковых нейронов,
причем результат работы ИНС
малочувствителен к характеристикам конкретного нейрона;
система допускает возможность параллельной обработки информации.
Таким образом, если обозначить сигнал, исходящий от Ус-го нейрона сети как хк , вес синаптической связи j-ro и к-то нейронов как j то общий входной сигнал, поступающий на у-й нейрон от всех остальных нейронов будет равен hj=Ek Wjkxk (I)
Выходной сигнал этого у-го нейрона получается путем воздействия на hj активационной функцией yj-gfhj), где g(u) - либо пороговая функция, либо сжимающая функция сигмоидального вида (см, рис. 1).
Рис.2. Прямоточная ИНС (МСП или RBF-сети) и полносвязная ИНС (сеть Хопфилда) Нейронные сети успешно применяются везде, где нужно решать задачи классификации, прогнозирования или распознавания. Этот успех определяется следующими их возможностями:
• Широкий спектр решаемых задач. Применение ИНС носит поистине интердисциплинарный характер, т.к. позволяет успешно
Input layer
Hidden layer
Output layer
Ключевыми характеристиками сети являются: тип связей между нейронами и динамика эволюции сети, определяемая функцией активации нейронов и правилом изменения весов в процессе этой эволюции., ИНС, наиболее распространенные в физике, определяются двумя типами связей: прямоточные сети без обратных связей, например, многослойные персептроны (МСП) (см.
рис.2а) или полносвязные сети, в которых все нейроны связаны друг с другом (см.рис.2Ь), как в нейронной сети Хопфилда (XHC). Мы можем также рассматривать и клеточные автоматы [18] как специальный тип нейронных сетей с локальными связями. • решать многие нелинейные задачи, в то время как классические вычислительные методы как правило предполагают линейность задач или, если и допускают нелинейность, то с ограничениями по величине, чтобы гарантировать сходимость различных итерационных процедур;задачи с данными стохастической природы. Робастность ИНС проявляется благодаря возможности их обучения на большом числе тренировочных выборок.
Сравнительная простота структуры ИНС и простота применения. Это особенно касается физики, где обычно квалификации дипломированного физика-экпериментатора вполне хватает для использования программной или схемной реализации ИНС. Кроме того, благодаря распространению Монте-Карловских пакетов программ типа GEANT-3, позволяющих моделировать физические процессы в детекторах частиц в условиях, максимально приближенных к реальным, не возникает проблем с моделированием необходимой последовательности данных, требуемых для обучения сети.
Простота структуры ИНС типа многослойного персептрона стимулировала многих исследователей на создание универсальных пакетов для генерации МСП по заданному числу слоев и нейронов в них, позволяющих также реализовать один из методов обучения сети.
Примечательно, что один из первых таких нейропакстов, программа JETNET была разработан именно физиками из Лундского университета [19] [18]. По этим же причинам нескольким электронным фирмам уже в начале 90-х удалось осуществить аппаратные реализации ИНС широкого применения в виде интегральных чипов, работающих параллельно и допускающих настройку сети на заранее отмоделированную конфигурацию
з
(см. например, [20] или обзор в [21]). Значительное количество статей по применению различных нейрочипов (ETANN, ТОТЕМ, ZISC036) и даже специального алгоритмического языка CNAPS для управления ими можно найти в специальном выпуске журнала "Nuclear Instruments and Methods in Physics Research" [22].
В заключение отметим, что применения многослойных персептронов, наиболее многочисленные в ФВЭ, основаны, как правило, на традиционной схеме: сначала подбор структуры и обучение ИНС на большой обучающей выборке из смоделированных событий методом обратного распространения ошибок; после чего найденные структура и веса воплощаются в ИНС в виде программы или чаще аппаратно. Эти применения МСП описаны в трудах многих научных форумов (см., например, [22,23-25]). 1.2. Краткий обзор существующих парадигм ИНС.