3.5. Обучение без учителя

И ты сотрешь меня со списка бытия,

Но пред моим судом, покуда сердце бьется,

Мы силы равные, и торжествую я.

Еще ты каждый миг моей покорна воле,

Ты тень у ног моих, безличный призрак ты;

Покуда я дышу — ты мысль моя, не боле,

Игрушка шаткая тоскующей мечты.

А.А.Фет

В предыдущих разделах был рассмотрен процесс обучения системы с учителем. В то время, когда на вход системы окружающая среда оказывала воздействие значениями входных переменных x1, x2, ...,xn, а сама система состояла из элементов A1, A2,... Ak, учитель предъявлял на выход значение z. При этом процесс обучения по каждому обучающему набору (x1, x2, ...,xn,z) состоял из двух этапов:

1) уничтожение нейронов, которое происходило, если возникающее напряжение превышало жизненную силу нейронов;

2) рождение нейронов, способных выполнить операцию d, исходя из требования минимизации целевой функции

min (z — d(x1, x2, ...,xn,A1, A2,... Ak))2 .

d

В результате, учитывая, что d может принимать значения только из некоторого фиксированного множества значений, минимизация целевой функции по d осуществлялась путем простейшего перебора. Причем для реализации перебора вполне могут быть применены генетические алгоритмы.

Теперь рассмотрим ситуацию, которая может возникнуть при отсутствии учителя у системы. Отсутствие учителя предполагает, что значение z не определено. Когда выходной результат не известен, система может предположить следующее:

1) правильный ответ — это отсутствие ответа, т.е. ответа не должно быть вообще;

2) правильный ответ выходит за возможности системы и поэтому его не должно быть;

3) ответ принадлежит к множеству выходных значений системы.

Получается, что при отсутствии учителя система должна минимизировать целевую функцию сразу по двум параметрам (z и d):

min (z — d(x1, x2, ...,xn,A1, A2,...

d,z

Безусловно, что, если возможное z принадлежит к множеству выходных значений системы, то минимизация только по z является более привлекательной, так как не требует от системы именно в данный момент никакой дополнительной внутренней перестройки. Именно такое поведение могут себе позволить сформировавшиеся системы, обладающие определенным жизненным опытом, прошедшие, как говорится «огонь, воду и медные трубы».

Исследуем процесс обучения без учителя для СР-сетей, исходя из следующих начальных волюнтаристических предположений:

1) система обучена на некоторой обучающей выборке, т.е. количество элементов СР-сети больше ноля;

2) на вход поступают значения, с которыми в процессе обучения система не сталкивалась;

3) получаемый выходной результат выходит из диапазона значений, в рамках которого работает система. Образно говоря, «сказать хочется, а слов нет».

Какие возможны в данной ситуации варианты поведения системы?

Вариант 1

1. Признать полученный результат неверным.

2. В качестве выходного результата определить действие «ничего не делать» или пустое (нулевое) значение, которое всегда принадлежит множеству выходных значений.

3. Осуществить процесс обучения (разрушение и генерацию нейронов) для поступивших входных значений и выходного значения, определенного в п.2. Таким образом, система самостоятельно от неизвестной ей схемы «обучение без учителя» переходит к известной схеме «обучение с учителем».

Вариант 2

1. Признать полученный результат неверным.

2. В качестве выходного результата определить значение, наиболее близкое к полученному результату, но принадлежащее множеству допустимых для выходного результата значений.

3. Осуществить процесс обучения (разрушение и генерацию нейронов) для поступивших входных значений и выходного значения, определенного в п.2.

Вариант 3

1. Признать полученный результат правильным. Невозможность его реализации объяснить несовершенством системы по генерации соответствующих выходных значений.

Вариант 4

1. Признать полученный результат правильным. Невозможность его реализации объяснить несовершенством системы, ее неспособностью к генерации соответствующих выходных значений.

2. Выработать такой выходной результат, который, изменяя окружающую среду, позволял бы избежать в дальнейшем поступления на вход подобных входных значений, т.е. надо сделать так, чтобы встреча с определенным «кусочком» прошлого стала невозможной.

3. Осуществить процесс обучения (разрушение и генерацию нейронов) для поступивших входных значений и выходного значения, определенного в п.2.

Что интересно, выбор того или иного варианта поведения системы во многом определяет черты ее характера, если, конечно, проводя аналогию с живым существом, можно это назвать чертами характера, например: смирение — присущая системе ориентация в большей степени на первый вариант поведения; упрямство — ориентация на третий вариант и т.п. Таким образом информационная система начинает приобретать индивидуальность.

Цена неосторожного слова