Прорыв в области искусственных нейронных сетей будет требовать развития их теоретического фундамента. Теоретические выкладки, в свою очередь, должны предваряться улучшением математических методов, поскольку исследования серьезно тормозятся нащей неспособностью иметь дело с такими системами. Успокаивает тот факт, что современный уровень математического обеспечения был достигнут под влиянием нескольких превосходных исследователей. В действительности аналитические проблемы являются сверхтрудными, так как рассматриваемые системы являются очень сложными нелинейными динамическими системами. Возможно, для описания систем, имеющих сложность головного мозга, необходимы совершенно новые математические методы. Может быть и так, что разработать полностью удовлетворяющий всем требованиям аппарат невозможно.

Несмотря на существующие проблемы, желание смоделировать человеческий мозг не угасает, а получение зачаровывающих результатов вдохновляет на дальнейшие усилия. Успешные модели, основанные на предположениях о структуре мозга, разрабатываются нейроанатомами и нейрофизиологами с целью их изучения для согласования структуры и функций этих моделей. С другой стороны, успехи в биологической науке ведут к модификации и тщательной разработке искуственных моделей. Аналогично инженеры применяют искусственные модели для реализации мировых проблем и получают положительные результаты, несмотря на отсутствие полного взаимопонимания.

Объединение научных дисциплин для изучения проблем искусственных нейросетей принесет эффективные результа ты, которые могут стать беспримерными в истории науки. Биологи, анатомы, физиологи, инженеры, математики и даже философы активно включились в процесс исследова­ний. Проблемы являются сложными, но цель высока: познается сама человеческая мысль.

Приложение Б Алгоритмы обучения

Искусственные нейронные сети обучаются самыми разнообразными методами. К счастью, большинство методов обучения исходят из общих предпосылок и имеет много идентичных характеристик. Целью данного приложения является обзор некоторых фундаментальных алгоритмов, как с точки зрения их текущей применимости, так и с ' точки зрения их исторической важности. После ознакомле­ния с этими фундаментальными алгоритмами другие, осно­ванные на них, алгоритмы будут достаточно легки для понимания и новые разработки также могут быть лучше поняты и развиты.

ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ

Обучающие алгоритмы могут быть классифицированы как алгоритмы обучения с учителем и без учителя. В первом случае существует учитель, который предъявляет входные образы сети, сравнивает результирующие выходы с требуемыми, а затем настраивает веса сети таким обра­зом, чтобы уменьшить различия. Трудно представить такой обучающий механизм в биологических системах; следова­тельно, хотя данный подход привел к большим успехам при решении прикладных задач, он отвергается исследователя­ми, полагающими, что искусственные нейронные сети обя­зательно должны использовать те же механизмы, что и человеческий мозг.

Во втором случае обучение проводится без учителя, при предъявлении входных образов сеть самоорганизуется посредством настройки своих весов согласно определенно­му алгоритму. Вследствие отсутствия указания требуемого выхода в процессе обучения результаты непредсказуемы с точки зрения определения возбуждающих образов для конк­ретных нейронов. При этом, однако, сеть организуется в форме, отражающей существенные характеристики обучающе­го набора. Например, входные образы могут быть класси­фицированы согласно степени их сходства так, что образы одного класса активизируют один и тот же выходной ней рон.

МЕТОД ОБУЧЕНИЯ ХЭББА

Работа [2] обеспечила основу для большинства алго­ритмов обучения, которые были разработаны после ей выхода. В предшествующих этой работе трудах в обп^ виде определялось, что обучение в биологических систе­мах происходит посредством некоторых физических измене­ний в нейронах, однако отсутствовали идеи о том, каки» образом это в действительности может иметь место. Осно­вываясь на физиологических и психологических исследова­ниях, Хэбб в [2] интуитивно выдвинул гипотезу о том, каким образом может обучаться набор биологических ней­ронов. Его теория предполагает только локальное взаимо­действие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляе­мым. Несмотря на то что его работа не включает матема­тического анализа, идеи, изложенные в ней, настолько ясны и непринужденны, что получили статус универсальных допущений. Его книга стала классической и широко изуча­ется специалистами, имеющими серьезный интерес в этой области.

Алгоритм обучения Хебба

По существу Хэбб предположил, что синаптическое соединение двух нейронов усиливается, если оба эти нейрона возбуждены. Это можно представить как усиление синапса в соответствии с корреляцией уровней возбужден­ных нейронов, соединяемых данным синапсом. По этой причине алгоритм обучения Хэбба иногда называется кор­реляционным алгоритмом. Идея алгоритма выражается следующим равенством:

где wij(t) - сила синапса от нейрона i к нейрону j ,в момент времени t, NETi - уровень возбуждения пресинаптического нейрона; NETj - уровень возбуждения постсинаптического нейрона.

Концепция Хэбба отвечает на сложный вопрос, каким образом обучение может проводиться без учителя. В мето­де Хэбба обучение является исключительно локальным явлением, охватывающим только два нейрона и соединя­ющий их синапс; не требуется глобальной системы обратной связи для развития нейронных образований.

Последующее использование метода Хэбба для обуче­ния нейронных сетей привело к большим успехам, но наря­ду с этим показало ограниченность метода; некоторые образы просто не могут использоваться для обучения этим методом. В результате появилось большое количество расширений и нововведений, большинство из которых в значительной степени основано на работе Хэбба.

Метод сигнального обучения Хэбба

Как мы видели, выход NET простого искусственного нейрона является взвешенной суммой его входов. Это может быть выражено следующим образом:

где NETj - выход NET нейрона j; OUTi - выход нейрона i; w,. - вес связи нейрона i с нейроном j. Можно показать, что в этом случае линейная много­слойная сеть не является более мощной, чем однословная сеть; рассматриваемые возможности сети могут быть улуч­шены только введением нелинейности в передаточную функ­цию нейрона. Говорят, что сеть, использующая сигмои-дальную функцию активации и метод обучения Хэбба, обу­чается по сигнальному методу Хэбба. В этом случае урав­нение Хэбба модифицируется следующим образом:

где wij(t) - сила синапса от нейрона i к нейрону j в момент времени t, OUTi - выходной уровень пресинаптического нейрона равный F(NETi); OUTj - выходной уро­вень постсинаптического нейрона равный F(NETj).