2.2.5 Инициализация синаптических коэффициентов
Начальная инициализация синапсов нейронной сети имеет огромное влияние на количество итераций обучения. От того насколько удачно будут выбраны начальные значения весовых коэффициентов зависит, как долго сеть за счет обучения и подстройки будет искать их оптимальные значения и найдет ли она их.
В самом простом случае начальные значения весов выбираются случайно из некоторого промежутка.Начальные значения синаптических коэффициентов могут существенно влиять на процесс обучения. Синаптические коэффициенты должны быть вы-браны случайно, но таким способом, чтобы активационная функция прежде всего активизировалась в своей линейной области. Если все синаптические коэффициенты будут иметь большое значение, то активационная функция будет насыщаться, таким образом приводя к малым значениям градиентов, которые делают обучение медленным. Если синаптические коэффициенты будут иметь малые значения, то значения градиентов также будут очень малы. То есть синаптические коэффициенты, активизирующие активационную функцию в её линейной области, дают достаточно большие значения градиентов, для продолжения обучения.
Как показано в работе [70] для достижения данного эффекта необходимо согласование между нормализацией входных значений нейронной сети, выбором активационной функции и выбором начальных значений весовых коэффициентов. Таким образом, для выбранной активационной функции и выбранного метода нормализации входных данных в данной работе синаптические коэффициенты инициализировались следующим образом: значения весовых коэффициентов были выбраны случайным образом из нормального распределения с нулевым средним и стандартным отклонением
где т - число связей входящих в нейрон.