СТРУКТУРА ДАП

Рис. 7.1. Конфигурация двунаправленной ассоциативной памяти.

На рис. 7.1 приведена базовая конфигурация ДАП. Эта конфигурация существенно отличается от используемой в работе [9]. Она выбрана таким образом, чтобы подчерк­нуть сходство с сетями Хопфилда и предусмотреть увели­чения количества слоев. На рис. 7.1 входной вектор А обрабатывается матрицей весов W сети, в результате чего вырабатывается вектор выходных сигналов нейронов В. Вектор В затем обрабатывается транспонированной матри­цей Wt весов сети, которая вырабатывает новые выходные сигналы, представляющие собой новый входной вектор А. Этот процесс повторяется до тех пор, пока сеть не достигнет стабильного состояния, в котором ни вектор А, ни вектор В не изменяются. Заметим, что нейроны в слоях 1 и 2 функционируют, как и в других парадигмах, вычис­ляя сумму взвешенных входов и вычисляя по ней значение функции активации F. Этот процесс может быть выражен следующим образом:

(7.1)

или в векторной форме: B = F( AW ) (7.2)

где В - вектор выходных сигналов нейронов слоя 2, А -вектор выходных сигналов нейронов слоя 1, W - матрица весов связей между слоями 1 и 2, F - функция активации.Аналогично

A = F (BWt) (7.3)

где Wt является транспозицией матрицы W. Как отмечено в гл. 1, Гроссберг показал преимущес­тва использования сигмоидальной (логистической) функции активации

OUTi = 1 / ( 1 + e-lNETi)

где OUTi - выход нейрона i, NETi - взвешенная сумма входных сигналов нейрона i, l - константа, определяющая степень кривизны. В простейших версиях ДАП значение константы l выбирается большим, в результате чего функция активации приближается к простой пороговой функции. В дальнейших рассуждениях будем предполагать, что используется поро­говая функция активации. Примем также, что существует память внутри каждого нейрона в слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с каждым тактом синхронизации, оставаясь постоянными между этими тактами. Таким обра­зом, поведение нейронов может быть описано следующими правилами:

OUTi(n+1) = 1, если NETi(n)>0,

OUTi(n+1) = 0, если NETi(n)<0,

OUTi(n+1) = OUT(n), если NETi(n)=0,

где OUTi(n) представляет собой величину выходного сиг­нала нейрона i в момент времени п. Заметим, что в описанных ранее сетях слой 0 не производит вычислений и не имеет памяти; он является только средством распределения выходных сигналов слоя 2 к элементам матрицы Wt.

ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ

Долговременная память (или ассоциации) реализуется в весовых массивах W и Wt. Каждый образ состоит из двух векторов: вектора А, являющегося выходом слоя 1, и вектора В, ассоциированного образа, являющегося выходом слоя 2. Для "восстановления ассоциированного образа вектор А или его часть кратковременно устанавливаются на выходах слоя 1. Затем вектор А удаляется и сеть приводится в стабильное состояние, вырабатывая ассоции­рованный вектор В на выходе слоя 2. Затем вектор В воздействует через транспонированную матрицу Wt, вос­производя воздействие исходного входного вектора А на выходе слоя 1. Каждый такой цикл вызывает уточнение выходных векторов слоя 1 и 2 до тех пор, пока не будет достигнута точка стабильности в сети. Эта точка может быть рассмотрена как резонансная, так как вектор пере­дается обратно и вперед между слоями сети, всегда обра­батывая текущие выходные сигналы, но больше не изменяя их. Состояние нейронов представляет собой кратковремен­ную память (КП), так как оно может быстро изменяться при появлении другого входного вектора. Значения коэффициентов весовой матрицы образуют долговременную память и могут изменяться только на более длительном отрезке времени, используя представленные ниже в дан­ном разделе методы. В работе [9] показано, что сеть функционирует в направлении минимизации функции энергии Ляпунова в основном таким же образом, как и сети Хопфилда в процессе сходимости (см. гл. 6). Таким образом, каждый цикл модифицирует систему в направлении энергетического минимума, расположение которого определяется значениями весов.

Рис. 7.2. Энергетическая поверхность двунаправленной ассоциативной памяти.

Этот процесс может быть визуально представлен в форме направленного движения мяча по резиновой ленте, вытянутой над столом, причем каждому запомненному обра­зу соответствует точка, «вдавленная» в направлении поверхности стола. Рис. 7.2 иллюстрирует данную анало­гию с одним запомненным образом. Данный процесс форми­рует минимум гравитационной энергии в каждой точке, соответствующей запомненному образу, с соответствующим искривлением поля притяжения в направлении к данной точке. Свободно движущийся мяч попадает в поле притяже­ния и в результате будет двигаться в направлении энер­гетического минимума, где и остановится.

КОДИРОВАНИЕ АССОЦИАЦИЙ

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обуча­ющего набора, состоящего из пар векторов А и В. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. В символьной форме

Предположим, что все запомненные образы представ­ляют собой двоичные векторы. Это ограничение покажется менее строгим, если вспомнить, что все содержимое Биб­лиотеки Конгресса может быть закодировано в один очень длинный двоичный вектор. В работе [II] показана возмож­ность достижения более высокой производительности при использовании биполярных векторов. При этом векторная компонента, большая чем 0, становится 1, а компонента, меньшая или равная 0, становится -1. Предположим, что требуется обучить сеть с целью запоминания трех пар двоичных векторов, причем векторы Аi имеют размерность такую же, как и векторыВi. Надо отметить, что это не является необходимым условием для работы алгоритма; ассоциации могут быть сформированы и между векторами различной размерности.

Вычисляем весовую матрицу

Далее прикладывая входной вектор А = (1,0,0), вычисляем выходной вектор О

Используя пороговое правило

bi = 1 , если Oi>0,

bi = 0 , если Oi<0,

bi не изменяется , если Oi=0

Вычисляем

что является требуемой ассоциацией. Затем, подавая вектор B’1 через обратную связь на вход первого слоя к Wt , получаем

что дает значение (1,0,0) после применения пороговой функции, образуя величину вектора А1. Этот пример показывает, как входной вектор А с использованием матрицы W производит выходной вектор В. В свою очередь вектор В с использованием матрицы Wt производит вектор А, таким образом в системе формирует­ся устойчивое состояние и резонанс. ДАП обладает способностью к обобщению. Например, если незавершенный или частично искаженный вектор пода­ется в качестве А, сеть имеет тенденцию к выработке запомненного вектора В, который в свою очередь стремит­ся исправить ошибки в А. Возможно, для этого потребует­ся несколько проходов, но сеть сходится к воспроизведе­нию ближайшего запомненного образа. Системы с обратной связью могут иметь тенденцию к колебаниям; это означает, что они могут переходить от состояния к состоянию, никогда не достигая стабильнос­ти. В [9] доказано, что все ДАП безусловно стабильны при любых значениях весов сети. Это важное свойство возникает из отношения транспонирования между двумя весовыми матрицами и означает, что любой набор ассоциа­ций может быть изучен без риска возникновения неста­бильности. Существует взаимосвязь между ДАП и рассмотренными в гл. 6 сетями Хопфилда. Если весовая матрица W являет­ся квадратной и симметричной, то W=Wt . В этом случае, если слои 1 и 2 являются одним и тем же набором нейро­нов, ДАП превращается в автоассоциативную сеть Хопфил­да.