Обучение нескольких агентов.

Рассмотрим команду N = {1, 2, ..., n}, состоящую из n агентов.

Zk = ? y\{1 - (1 - r>xp(- g ? ym )},

l =1 m=1

rk = 1 - (1 - r°) exp(- gi ? yl ), k = 2, 3, ... , i e N.

i=1

Если результат команды является суммой результатов агентов, то есть:

n

Zk = ? Zk , k = 1, 2, ... ,

i=1

то задача об оптимальном обучении команды (ср. с (8)) примет вид:

ZT ® max ,

T N

{y/'Ti?? yt=Y}

г =1 i=1

то есть:

n T l-1

??yi{1 - (1 -r°)exp(- gi ?ym)} ® inaix .

l= m= {y1Ti?? yt =Y}

г =1 i=1

Задача (15) может быть решена методом динамического про-граммирования.

Легко видеть, что оптимальное решение задачи (15) в общем случае зависит и от индивидуальных скоростей научения агентов {уг}, и от их начальных квалификаций { rt° }.

Утверждение 9.2. Если скорости научения агентов одинаковы, то оптимальным распределением работ является выполнение всего объема работ агентом с максимальной начальной квалификацией. Если начальные квалификации агентов одинаковы, то оптимальным распределением работ является выполнение всего объема работ агентом с максимальной скоростью научения.

Пример 9.3. Рассмотрим задачу (15) для случая двух агентов

при T = 11, r0 = 0,1, r20 = 0,3, g1 = g2 = 0,75, Y = 10. При этом, в соответствии с утверждением 9.2, оптимальным является выполнение всего объема работ вторым агентом, то есть тем, чья начальная квалификация выше (напомним, что в настоящем примере скорости научения агентов одинаковы).

Рис. 23. Динамика оптимальных объемов работ в примере 9.3

Получили, что первый агент не выполняет никаких работ и не обучается. •

Решение задачи об оптимальном обучении в случае, когда все агенты имеют одинаковые скорости научения, получилось «вырожденным» - работает и обучается один агент, а остальные не 142

работают и не обучаются. С одной стороны, такой коллектив вряд ли можно назвать полноценной командой, с другой стороны, необходимо признать, что в жизни такие ситуации встречаются нередко.

Рассмотрим, что произойдет, если агенты различаются и начальными квалификациями, и скоростями научения.

Пример 9.4. Если в условиях примера 9.3 выбрать скорость научения первого агента (чья начальная квалификация ниже, чем у второго агента) равной 3,0, то есть сделать ее существенно больше скорости научения второго агента (при неизменных всех остальных параметрах), то оптимальным решением будет выполнение всего объема работ уже не вторым, а первым агентом. •

Формально, структура решения задачи (15) - то, что весь объем работ выполняет один «лучший» (с точки зрения комбинации начальной квалификации и скорости научения) агент - обусловлена «аддитивностью» целевой функции и наличием большого числа переменных при единственном ограничении. Содержательно, в задаче могут присутствовать и другие ограничения, помимо ограничения на суммарный объем работ, выполняемый членами команды. Наиболее естественным представляется ограничение на максимальный объем работ, который каждый агент может выполнить за одну итерацию (за один период времени).

Пример 9.5. Если в условиях примера 9.3 добавить ограничение на максимальный объем работ (равный, например, 0,5), который каждый агент может выполнить за один период времени, то в оптимальном решении будут загружены уже оба агента - динамика их типов представлена на Рис.

Если в данном примере добавить еще одного агента, то в оптимальном решении загружены будут по-прежнему два агента (имеются два ограничения - на суммарный объем работ и на объем работ, который каждый агент может выполнить в единицу времени, причем последнее ограничение одинаково для всех агентов). Если у каждого агента существует собственное ограничение на объем работ, который он может выполнить в единицу времени, то

загружены будут уже все агенты (так как число ограничений превысит число агентов). •

1,0 0,9

0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0

0

Рис. 24. Динамика типов агентов в примере 9.5

Рис. 25. Динамика оптимальных объемов работ в примере 9.5