Вороновский Г. - Генетические алгоритмы, искусственные нейронные сети

Настоящая брошюра подводит итоги выполнения первого этапа научного проекта "Применение эволюционных методов математического моделирования в управлении объектами энергетики ", выполняемого совместно Харьковским государственным политехническим университетом и Харьковской ТЭЦ5 при поддержке РоссийскоАмериканского Консорциума по Генетическим Алгоритмам. Проект нацелен на поиск новых концептуальных решений интеллектуальной системы управления современным энергогенерирующим предприятием, первый же его этап был направлен на разработку на базе генетических алгоритмов программного обеспечения для синтеза нейросетевых компонент будущей системы.
Приняв решение опубликовать полученные на протяжении 1995 96 гг. результаты, мы поставили перед собой цель донести до широкого читателя ключевые идеи и эвристические приемы, используемые в эволюционном моделировании, продемонстрировать эффективность новых вычислительных технологий для решения задач искусственного интеллекта. Стремление к предельной простоте и лаконичности изложения побудило нас структурировать брошюру на две части основной раздел, излагающий методические основы подходов, и Приложения, имеющие скорее справочный характер.
Чтобы упростить читателю первые шаги в самостоятельном моделировании искусственных нейронных сетей, мы снабдили брошюру результатами синтеза нейроэмуляторов и нейроконтроллеров для тестового динамического объекта, описав подробно в Приложениях структуру и параметры сетей.
Пользуясь случаем, мы хотели бы выразить благодарность профессору Эрику Гудману, директору РоссийскоАмериканского Консорциума по Генетическим Алгоритмам, за его постоянное внимание к нашим исследованиям в области генетических алгоритмов и всемерную информационную и консультативную помощь в осуществлении проекта.

СПИСОК УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ

а_и Ь_і левая и правая границы области допустимых значений i-той переменной проектирования;
$=(Ai A₂ A₃ A_l) хромосома;
%(t)=($₁(t),...,$_M(t)) текущая популяция генотипов;
c координаты центра активационной функции;
D желаемые выходы сети (выходной шаблон); е ошибка на выходе сети;
E среда, противостоящая адаптивной системе;
H размер скрытого слоя сети;
I реакция среды, противостоящей адаптивной системе;
J функционал качества системы управления; k коэффициент усиления осциллятора;
K количество скрытых слоев сети;
L количество генов в хромосоме;
M размер популяции;
N размерность пространства переменных проектирования, представленных в вещественном виде;
Рі^Р вероятность применения генетических операторов;
Q размер тренировочного набора шаблонов;
поисковое пространство вещественных чисел;
S взвешенная сумма входных сигналов нейрона; s оператор Лапласа;
t показатель времени (непрерывный или дискретный);
T период колебаний осциллятора; u_r сигнал задания; и сигнал управления;
V размер входного слоя сети; w_i синаптический вес нейрона; w₀ смещение нейрона;
W передаточная функция объекта; x=(Xi ,x₂,.. .x_N) вектор переменных проектирования; x=(x₁,x₂) переменные состояния в уравнении динамического объекта управления;
~ переменная состояния нейроэмулятора динамического объекта; X=(X_bX₂, Xy) вектор входных сигналов сети;
X = (X! , X₂,..., X_y) входной шаблон; у выходной сигнал нейрона;
Y = (Y₁,Y₂,...,Y_z ) вектор фактических значений выходных сигналов
сети;
z размер выходного слоя сети;
а гиперкуб, на котором осуществляется решение задачи комбинаторной оптимизации;
А оператор задержки;
Ф интерполяционная матрица;
^($ftj) приспособленность особи;
)!(?) средняя по текущему поколению популяции приспособленность особей;
5j ширина окна активационной функции j-того нейрона; т репродуктивный план Холланда;
'D(t)=(p.₁(t),...,p_M(t)) вектор приспособленностей особей популяции; ще Q генетические операторы;
Е тренировочный набор шаблонов;
Z параметр осциллятора;
АОР алгоритм обратного распространения (ошибки);
ГА генетический алгоритм;
ИНС искусственная нейронная сеть;
НК (NC) нейроконтроллер (neurocontroller);
НЭ (NE) нейроэмулятор (neuroemulator);
ОУ объект управления;
САУ система автоматического управления;
RBF-сеть трехслойная нейронная сеть с радиально-симметричной активационной функцией нейронов скрытого слоя;
XOR логическая функция исключающее ИЛИ.

ВВЕДЕНИЕ. О РАЗЛИЧНЫХ ТОЛКОВАНИЯХ ТЕРМИНА ИНТЕЛЛЕКТУАЛЬНОСТЬ В УПРАВЛЕНИИ

В последние годы среди специалистов в области теории автоматического управления наметился очевидный подъем интереса к новым нетрадиционным (то есть сформировавшимся вне рамок классической парадигмы, базирующейся на аппарате интегро-дифференциального исчисления) подходам, объединенным общей целью интеллектуализации систем управления. Наверное, трудно даже перечислить все те классификационные признаки, по которым эти подходы разнятся между собой, но одной из основных граней различия является то, что именно положено в основу концепции интеллектуализации формализованные каким-либо образом знания человека об объекте управления (ОУ), либо свойственные человеку приемы мышления, посредством которых он изучает окружающий мир и подчиняет его своим интересам.
К первой группе подходов можно отнести, например, жестко детерминированные экспертные системы, а также более гибкие системы управления на базе нечеткой (фаззи) логики (fuzzy logic). Второй подход реализуется в рамках эволюционных методов моделирования, под которыми мы подразумеваем генетические алгоритмы (ГА) и искусственные нейронные сети (ИНС).
ИНС сегодня это не столько совокупность заимствованных из нейрофизиологии моделей параллельных вычислительных структур, сколько арена борьбы идей о природе интеллекта. Если первый этап становления ИНС можно охарактеризовать как попытку синтезировать из набора сравнительно просто функционирующих нейронов некоторую упорядоченную структуру, способную выполнять сложные нелинейные преобразования вход-выход, то сейчас, по мере достижения успеха в решении задач первого этапа, передний фронт исследований перемещается в область психологии, когнитивных наук.
Задача настоящего момента состоит в том, чтобы понять, какие сверхструктуры нейронов и как могут моделировать элементарные акты мыслительной деятельности, а затем воплотить эти принципы в работу систем управления.
Мышление человека невозможно вне языка. Все явления внешнего мира нашли отражение в языке в виде категорий. Слова представляют собой не просто наборы звуков, за каждым из них стоят какие-то конкретные, но достаточно общие представления. Изучая мир, мозг накапливает информацию, упорядочивает ее и далее происходит то, что психологи называют когнитивным сжатием.
Эмпирические знания преобразуются в компактную абстрактную форму, удобную для оперирования, которая, тем не менее, несет в себе наиболее типические и важные в ракурсе решаемой индивидом практической задачи черты объекта.
Поскольку ясно, что кроме нейронов никаких других операционных единиц, участвующих в обработке информации, в мозге нет, логично предположить, что за каждым представлением, образом мира стоит конкретный фрагмент нейронной сети мозга. Создать образ объекта (или скорректировать уже имеющийся) означает тогда натренировать этот фрагмент так, чтобы его реакции на возбуждение не отличались от реакций объекта, известных из жизни.
При этом сеть должна научиться хранить опыт общения с объектом не в виде хронологически или по какому-то другому принципу упорядоченных эпизодов, а в виде собственной структуры, то есть непосредственно послойной архитектуры и сил синаптических связей между нейронами.
Может быть, именно таким путем у индивида складывается внутренняя, свойственная только ему, картина мира, образы которой помогают осознать свое положение в мире, а также прогнозировать дальнейший ход событий. Человек ретроспективно "проигрывает" в голове прошлое и проецирует настоящее на будущее не только тогда, когда играет в шахматы.
Знания о мире, а попросту говоря, прежний опыт составляет основу виртуальной реальности, существующей в нашем сознании как отражение внешнего мира. Именно умение мысленно эмулировать мир, оперировать его образами и дает нам возможность планировать свое поведение, предвидеть события и ориентироваться в пространстве потенциальных возможностей.
То, что мы попытались сделать в настоящей работе, это продемонстрировать исключительно высокий потенциал сочетания двух вычислительных технологий ИНС и ГА для решения задач синтеза интеллектуальных систем управления. С одной стороны, наш интерес к ГА обусловлен их высокой эффективностью при решении задач глобальной оптимизации вообще и как к потенциальной процедуре тренировки нейронной сети, в частности. Действительно, никто сегодня не отрицает, что многие широко известные техники тренировки (Backpropagation, RBF-сети) являются существенно локальными со всеми вытекающими отсюда последствиями, поэтому в этом отношении ГА не знает конкурентов.
С другой стороны, интригующим представляется само сочетание ГА и ИНС. Оба направления относятся к эволюционному моделированию и как бы бросают вызов методам теории автоматического управления, обещая решить традиционные задачи, не привлекая такие базовые понятия классической парадигмы как интеграл, дифференциал, динамическое звено и т. п.
Базируясь на приведенных выше общих рассуждениях, нам удалось синтезировать нейросетевую модель системы управления, которая не только умеет строить внутренние представления о внешнем мире, прогнозировать поведение объекта управления, но также обладает способностью генерировать оптимальное управление в соответствии с требованиями эталонной модели.

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ

По своей сути процессы адаптации являются оптимизационными процессами ...
Дж. Холланд, Предисловие к первому (1975) изданию Adaptation in natural and artificial systems.
Пятнадцать лет должны были бы расставить все по своим местам и охладить пыл. Однако вопреки или благодаря этому, я все еще нахожу Предисловие к изданию 1975 года удивительно уместным. Единственное изменение, которое я бы внес, это сделать большее ударение на совершенствовании и меньшее на оптимизации.
Работа над более сложными адаптивными системами, например, экологическими, убедила меня, что их поведение не описывается так уж хорошо траекториями вокруг глобальных оптиму-мов. Наоборот, соревнование между компонентами системы, направленное на подавление ближайших конкурентов, определяет общее поведение.
Дж. Холланд.
Предисловие ко второму (1992) изданию Adaptation in natural and artificial systems.
Современная библиография по генетическим алгоритмам давно перевалила за 9000 наименований и продолжает непрерывно увеличиваться. Однако, несмотря на такое обилие литературы, довольно трудно точно сформулировать, чем именно они являются квинтэссенцией эволюционных перестроек в природных популяциях организмов, универсальным средством описания адаптаций в популяциях искусственных объектов, или мощной поисковой процедурой с претензиями на решение задач глобальной оптимизации.
Мы намеренно начали этот раздел с сопоставления двух замечаний Дж. Холланда по поводу адаптации и оптимизации, сделанных им в предисловиях к первому и второму изданиям его знаменитой книги [1], положившей начало процессу распространения генетических алгоритмов в научных сообществах. Правда, генетическими они стали называться позднее, ав 1975 году Холланд называл их репродуктивными планами (reproductive plan) и рассматривал прежде всего как алгоритмы адаптации.
Но то смещение акцентов в трактовке понятия адаптация, о котором он как бы вскользь говорит в предисловии 1992 года, очень точно, на наш взгляд, передает то состояние замешательства, которое мы ощущаем и сегодня, пытаясь, с одной стороны, дать достаточно общее и непротиворечивое определение адаптации, а с другой стороны, разграничить понятия адаптации и оптимизации, адаптации и эволюции, адаптации и обучения.
При дальнейшем изложении основных идей ГА мы не будем придерживаться стиля книги Холланда, а подойдем к ним как к процедуре глобальной оптимизации. Эта, хотя и несколько упрощенная по сравнению с холландовской, трактовка ГА вызвала сильный резонанс в литературе, и как показало время, вполне обоснованно.
По большому счету, почти два десятилетия исследований ГА на тестовых многоэкстремальных функциях ушли на доказательство именно этой грани могущества ГА, оставив в некоторой тени их выдающиеся адаптивные способности.
Итак, ГА базируются на теоретических достижениях синтетической теории эволюции, учитывающей микробиологические механизмы наследования признаков в природных и искусственных популяциях организмов, а также на накопленном человечеством опыте в селекции животных и растений.
Методологическая основа ГА зиждется на гипотезе селекции, которая в самом общем виде может быть сформулирована так: чем выше приспособленность особи, тем выше вероятность того, что в потомстве, полученном с ее участием, признаки, определяющие приспособленность, будут выражены еще сильнее. Поскольку ГА имеют дело с популяциями постоянной численности, особую актуальность здесь наравне с отбором в родители приобретает отбор на элиминирование. Стратегия элиминирования, призванная ответить на вопрос От каких особей мы можем безболезненно отказаться? составляет не менее важную компоненту современных ГА, чем стратегия отбора в родительскую группу.
Чаще всего особи, обладающие низкой приспособленностью, не только не участвуют в генерации нового поколения, а элиминируются из популяции на текущем дискретном шаге (эпохе) эволюции.
Впрочем, сказанное справедливо не только для ГА, а для любого численного метода оптимизации. Сама идея оптимальности, как верно подмечено в [3], пришла в науку из биологии.
Однако далеко не всегда мы отдаем себе отчет в том, сколь многие методические приемы оптимального проектирования имеют корни в селекционной практике и являются примером нашего не всегда осознанного подражания Природе.
Небезынтересно по этому поводу мнение другого ныне здравствующего классика ГА, Кеннета Ди Янга, внесшего огромный личный вклад в развитие ГА как самостоятельного научного направления. В [2] он пишет: ...легко впасть в заблуждение, воспринимая сами ГА как алгоритмы оптимизации, а затем удивляться и/или испытывать разочарование, когда они терпят неудачу в поиске ‘очевидного’ оптимума в определенном поисковом пространстве. Мое предложение по поводу того, как избежать такого самообмана, заключается в том, чтобы думать о ГА как о (в высшей степени) идеализированном моделировании природного процесса и как о процедуре, воплощающей цели и задачи (если таковые вообще существуют) этого природного процесса.
Я не уверен, найдется ли кто-нибудь, готовый ответить на вопрос, каковы цели и задачи эволюционных систем; однако, по правде говоря, такие системы вообще не воспринимаются как оптимизаторы функций....
Убедиться в справедливости сказанного не трудно, если попытаться взглянуть на процедуру численной оптимизации через призму гипотезы селекции (см. Рис.2).
Итак, обыкновенно проектирование начинают с формирования в поисковом пространстве области допустимых значений переменных и выбора в ней некоторых пробных точек.
Далее итеративно выполняют следующие действия. Сначала при помощи математической модели устройства производят отображение точек из поискового пространства на пространство критериев, что позволяет составить представление о рельефе поверхности критериев.
Затем на основании полученной информации и в соответствии с выбранной поисковой стратегией осуществляют некоторые манипуляции с координатами точек в пространстве переменных, завершающиеся генерацией координат новых пробных точек.
Очерчивая в общих словах эту знакомую всем цепочку, отметим явно выраженный параллелизм между заложенной в ней идеологией поиска экстремума и тем, как решаются подобные по содержанию задачи в Природе, при адаптации популяций организмов к факторам окружающей среды.


Рис. 2. Циклическая структура процедуры численной оптимизации характеристик проекта
Большинство эвристических поисковых стратегий представляют собой довольно очевидные логические решающие правила, выведенные путем обобщения реального или умозрительного опыта обитания в трехмерном пространстве. Например, представим себе, что ночь застала нас врасплох и нам предстоит без фонарика двигаться по пересеченной местности, например, взобраться на вершину пологого холма.
Ясно, что взяв в руки палку и ощупывая ею ближайшее окружение, мы получим требуемую информацию о локальном рельефе и будем двигаться в том направлении, в котором местность повышается, но не наоборот. Правильный выбор направления движения и величины шага гарантирует нам быстрый успех, если, конечно, поверхность холма гладкая, а не ухабистая.
Действительно, практикуемый способ описания технических объектов при помощи векторов переменных проектирования подразумевает символьное кодирование информации об объекте. Вектор переменных даже не чертеж, то есть глядя на него и не зная правил кодирования, невозможно составить представление об объекте. В определенном смысле можно утверждать, что категория "вектор переменных проектирования" играет в технике ту же роль, что и категория "генотип" в биологии.
Группируя ключевые параметры объекта в вектор переменных, мы, по существу, придаем им статус генетической информации. Именно генетической, потому что, с одной стороны, ее достаточно, для того, чтобы построить сам объект (гипотетически вырастить его), а во-вторых, она служит исходным материалом при генерации генотипов объектов следующего поколения.
А ведь именно такой смысл генотипов потомков имеют координаты упоминавшихся новых пробных точек. Подобно тому, как в Природе скрещивание организмов осуществляется на генетическом уровне, в процедуре оптимизации координаты новых пробных точек получаются как результат манипулирования координатами старых.
Причем, и здесь незримо присутствует гипотеза селекции в качестве родительских всегда выступают лучшие в фенотипическом отношении, а не произвольные точки (особи) из популяции потенциальных решений, неудачные же решения отбрасывают на текущем шаге (можно считать, что они вымирают).
Здесь мы подходим, наконец, к тому, что именно отличает ГА на фоне других численных методов оптимизации.
ГА заимствуют из биологии:
- понятийный аппарат;
- идею коллективного поиска экстремума при помощи популяции особей;
- способы представления генетической информации;
- способы передачи генетической информации в череде поколений (генетические операторы);
- идею о преимущественном размножении наиболее приспособленных особей (речь идет не о том, даст ли данная особь потомков, а о том, сколько будет у нее потомков).

Представление генетической информации

Подобно тому, как природный хромосомный материал представляет собой линейную последовательность различных комбинаций четырех нуклеотидов (А аденин, Ц цитозин, Т тимин и Г гуанин), вектора переменных в ГА также записывают в виде цепочек символов, используя двух-, трех- или четырехбуквенный алфавит. Для простоты изложения рассмотрим случай бинарного кодирования, используемый при моделировании эволюции гаплоидных популяций.
Итак, будем считать, что каждая переменная Xj кодируется определенным фрагментом хромосомы, состоящим из фиксированного количества генов (см. рис. 3).
Все локусы хромосом диаллельны то есть в любой позиции фрагмента может стоять как ноль, так и единица. Рядом стоящие фрагменты не отделяют друг от друга какими-либо маркерами, тем не менее, при декодировании хромосомы в вектор переменных на протяжении всего моделируемого периода эволюции используется одна и та же маска картирования.


Рис. 3. Простейшая маска картирования хромосомы, определяющая план распределения наследственной информации по длине хромосомы
Хотя мы постоянно говорим о декодировании, на самом деле, прямая операция, понимаемая как операция кодирования вектора переменных x в хромосому в ГА не применяется. Хромосомы генерируются случайным образом, путем последовательного заполнения разрядов (генов), сразу в бинарном виде, и всякие последующие изменения в популяции затрагивают сначала генетический уровень, а только потом анализируются фенотипические последствия этих изменений, но никогда не наоборот.
В принципе, для декодирования генетической информации из бинарной формы к десятичному виду подходит любой двоично-десятичный код, но обычно исходят из того, что она представлена в коде Грея. Таблица 1 воспроизводит в полном объеме процедуру декодирования фрагмента хромосомы в проекцию вектора переменных Xj.

Таблица 1 Декодирование фрагментов хромосом в проекции вектора переменных

Код Двоично- Десятичное зна- Вещественное значе- Грея десятичный код чение сдвига ние координаты 0000 0000 0 at 0001 0001 1 af+1(braf)/15 0011 0010 2 at+2(bt-at)/15 0010 0011 3 at+3(bt-at)/15 0110 0100 4 at+4(bt-at)/15 0111 0101 5 at+5(bt-at)/15 0101 0110 6 at+6(bt-at)/15 0100 0111 7 at+7(bt-at)/15 1100 1000 8 at+8(bt-at)/15 1101 1001 9 at+9(bt-at)/15 1111 1010 10 at+10(bt-at)/15 1110 1011 11 at+11(bt-at)/15 1010 1100 12 at+12(bt-at)/15 1011 1101 13 at+13(bt-at)/15 1001 1110 14 at+14(bt-at)/15 1000 1111 15 h

От кода Грея переходим к двоично-десятичному коду, а от него к натуральным целым числам. Отношение полученного числа к максимальному числу, доступному для кодирования данным количеством разрядов фрагмента (по таблице 1 число 15) и дает искомое значение сдвига переменной относительно левой границы а допустимого диапазона ее изменения, нормированного на ширину Ьа диапазона.
Из таблицы хорошо видно, почему код Грея имеет явные преимущества по сравнению с двоично-десятичным кодом, который при некотором стечении обстоятельств порождает своеобразные тупики для поискового процесса. В качестве примера рассмотрим любые три рядом стоящие строки из таблицы 1, например, кодирующие сдвиг в 4, 5 и 6 единиц.
Предположим, фрагменты хромосом, стоящие в пятой строке и кодирующие число 5, принадлежат оптимальному вектору, являющемуся решением некоторой задачи, а лучшая особь из текущей популяции содержит фрагмент хромосомы из строки 4. Такая ситуация благоприятна для обоих кодов. Достаточно выполнить всего одну операцию заменить в четвертом разряде фрагмента 0 на 1 и решение будет найдено. Более интересный случай получается, если лучшая особь содержит фрагмент из строки 6. Для кода Грея эта ситуация ничуть не сложнее предыдущей замена 0 на 1 в третьем разряде опять приведет к успеху. В то же время двоично-десятичный код ставит нас в необходимость выполнить последовательно две операции заменить 1 на 0 в третьем разряде и 0 на 1 в четвертом. С какой бы из них мы ни начали, результат не приблизит нас к решению (первый вариант замены переместит нас в четвертую строку, а второй вообще в седьмую). А ведь это не самый худший пример работать с сочетаниями 3-4, 7-8, 11-12 и т. д. строк в двоично-десятичном коде еще сложнее.

ГА+ИНС = НОВАЯ ПАРАДИГМА В МОДЕЛИРОВАНИИ

Тем более, что представленные примеры вроде бы свидетельствуют в пользу этого довода. Однако это не так, и в следующем разделе мы продемонстрируем, что эти же две технологии способны самостоятельно синтезировать математическую модель динамического объекта только на основании знания его переходных характеристик.

ГА+ИНС = НОВАЯ ПАРАДИГМА В МОДЕЛИРОВАНИИ

Физика представляет собой развивающуюся логическую систему мышления, основы которой можно получить не выделением их какими-либо индуктивными методами из пережитых опытов, а лишь свободным вымыслом. Обоснование (истинность) системы основано на доказательстве применимости вытекающих из нее теорем в области чувственного опыта, причем соотношения между последними и первыми можно понять лишь интуитивно.
Эволюция происходит в направлении все увеличивающейся простоты логических основ. Больше того, чтобы приблизиться к этой цели, мы должны решиться признать, что логическая основа все больше и больше удаляется от данных опыта, и мысленный путь от основ к вытекающим из них теоремам, коррелирующим с чувственными опытами, становится все более трудным и длинным.
А. Эйнштейн. Физика и реальность.
Нейронные сети и дифференциальные уравнения относятся к различным ветвям в моделировании, известным как эмпиризм и фундаментализм. Первая ветвь, эмпиризм, восходит к работам Аристотеля и Леонардо да Винчи, вторая, фундаментализм, обязана своим рождением Галилею, пытавшемуся реализовать в моделировании теологические представления Платона о мире идей и учение о душе. Дифференциальные уравнения описывают душу объекта, в то время как нейронная сеть оказывается в состоянии запомнить, а потом воспроизвести динамическое поведение объекта в ситуациях, которые ей известны.
Аналитическая форма представления знаний ей недоступна, она способна запомнить и обобщить только конкретные эмпирические зависимости, хотя речь здесь идет, конечно, не о запоминании данных в табличном виде.
Для классической парадигмы характерно то, что синтезу математической модели объекта или процесса обязательно предшествует фаза анализа, в течение которой процесс умозрительно декомпозируется на элементарные явления, каждое из которых подвергается затем тщательному исследованию. Сначала всегда планируется очищенный эксперимент, в котором исследуемая составляющая процесса обособляется от влияния остальных, а затем, по мере реальных возможностей, этот эксперимент выполняется. Как результат, выдвигается предельно простая, обыкновенно линейная, модель явления с единственным постоянным коэффициентом, для которого либо из условий проведения эксперимента, либо из каких-то третьих условий подбирается прозрачная физическая интерпретация. Если какую-то составляющую в чистом виде изучить не удается, на нее нередко просто закрывают глаза.
Наконец, осуществляют синтез полной модели, складывая из частных линейных моделей как из кирпичиков цельную картину процесса, правда, с оговоркой, что коэффициенты, в действительности, могут быть нелинейными.
Примеров таких процедур можно привести множество, мы же предлагаем ограничиться одним предельно простым разрядом батареи конденсаторов на катушку с воздушным сердечником.
Как известно, процесс разряда описывается дифференциальным уравнением Хотя цепь собрана всего из двух узлов батареи и катушки, членов в уравнении мы видим три. Все они содержат постоянные коэффициенты.
Коэффициент при токе R, известный как активное сопротивление катушки, представляет собой не что иное, как коэффициент пропорциональности между напряжением на катушке и током, при условии того, конечно, что катушка запитана от источника постоянного напряжения (очищенный эксперимент 1). Коэффициент при производной тока L собственная индуктивность катушки имеет отношение к другому эксперименту: если запитать катушку от источника гармонически изменяющегося напряжения достаточно высокой частоты (очищенный эксперимент 2), то произведение круговой частоты колебаний и собственной индуктивности катушки опять даст нам коэффициент пропорциональности между амплитудами тока и напряжения на зажимах катушки.
Наконец, емкость конденсатора C тоже нуждается в определении и появляется она как понятие, опять-таки, из какого-то очищенного эксперимента 3, вскрывающего связь тока и напряжения на обкладках конденсатора.
Стоит задуматься, насколько натянуты предположения в отношении постоянства всех этих коэффициентов. Мы закрыли глаза на внутренние тепловыделения в проводнике, условия охлаждения катушки, потери в диэлектрике конденсатора.
Перечень неучтенных факторов расширится, если мы возьмем катушку с железным сердечником, который не только сможет влиять на индуктивность, но и откроет дополнительные возможности для увеличения тепловых потерь в системе (от вихревых токов, на перемагничивание ит. д.).
Ничего этого в модели (10) нет. Всякий раз, чтобы учесть тот или иной фактор, нам придется конструировать новый эксперимент, предлагать модель явления, определять и интерпретировать ее параметры.
При отсутствии модели мы не сможем описать эффект, следовательно, шаблон уравнения, описывающего процесс, будет заведомо неполным.
Тем не менее, никто не мешает нам выполнить идентификацию той модели, которая у нас есть. Правда, для этого нам все равно придется выполнить эксперименты со всей цепью, после чего подобрать значения коэффициентов так, чтобы погрешность предсказания поведения тока была минимальной. Не важно, насколько точно найденные значения коэффициентов совпадут с теми, что получились бы из частичных исследований. Мы и не можем ожидать, что они совпадут члены, присутствующие в шаблоне, должны взять на себя вклад отсутствующих.
Как следствие, значения коэффициентов получат некоторые приращения, зависящие, по-видимому, еще и от того, например, в каком диапазоне токов проводились эксперименты со всей цепью. Ясно, что идентифицированная модель будет достоверна только в этом диапазоне, но вряд ли мы можем надеяться, что при других токах параметры модели останутся прежними.
В чем же состоят отличия нейросетевого подхода? Да, пожалуй, только в том, что он изначально не подразумевает фазы анализа при построении модели. Нейронные сети это существенно синтетический, а не аналитический подход. Конечно, и здесь остается понятие шаблона, и здесь синтез модели сводится к параметрической оптимизации шаблона, сконструированного по базису активационных функций нейронов.
Но здесь никого не интересует, какому гипотетическому поведению объекта соответствует активность одного из нейронов и какой физический смысл приобретают в этом случае синаптические веса. Задача формулируется для всей сети в целом.
Исходя из этого и объект исследуется сразу целиком, и не в очищенных ситуациях, а в тех режимах, которые нас интересуют в практическом, утилитарном отношении.
Хотя мы можем предположить, что нейронная сеть может выполнить сколь угодно сложное преобразование вход-выход, заранее невозможно предсказать, какая архитектура сети (то есть вид шаблона) окажется наилучшей для решения интересующей нас задачи. Какой вид активационных функций нейронов должен быть выбран? Какая слойность сети и сколько нейронов в каждом скрытом слое обеспечат требуемую информационную емкость сети?
Не очевиден и вопрос о количестве обратных связей, охватывающих сеть, а ведь без них поведение сети не сможет стать динамичным.
Как бы ни было, численное экспериментирование является на сегодняшний день единственным надежным методом поиска ответов на поставленные вопросы.
Следует отметить, что нейросетевые модели, все-таки, сильно отличаются от того, что обычно понимают под математической моделью. Не зря поэтому их называют эмуляторами, они имитируют динамические характеристики объекта и не более того. Существует для них и другое название предикторы (от английского глагола to predict предсказывать) и оно тоже не беспочвенно, так как нейросетевые модели ориентированы на то, чтобы уметь по текущему и нескольким предыдущим векторам состояния объекта предсказывать его следующие состояния.
В зависимости от глубины предсказания различают одношаговые и краткосрочные предикторы.
Основное отличие между ними состоит в том, что одношаговый предиктор (см. рис. 20,а) получает информацию о текущем состоянии объекта от самого объекта, то есть он жестко привязан к объекту.
Поскольку при таком подходе ошибка в предсказании возникает только в пределах текущего шага, а не накапливается даже на двух ближайших шагах, это существенно понижает требование к точности предсказания, чем и упрощает задачу синтеза.


Значительно больших усилий требует синтез так называемого краткосрочного предиктора (см. рис. 20,б), который может предсказывать поведение объекта на 1001000 шагов и который отталкивается в прогнозе каждого последующего шага от собственного прогноза предыдущего шага.
Ясно, что даже если ошибка предсказания на одном шаге выглядит скромно, за 100 шагов она может возрасти до такого предела, за которым теряется какое-либо сходство в поведении эмулятора с поведением объекта в тех же условиях.
Сохраняя верность выбранному принципу действовать в рамках эволюционной парадигмы ее собственными средствами, мы подошли к проблеме синтеза нейросетевых моделей динамических объектов, вооружившись хорошо зарекомендовавшим себя в наших глазах сочетанием ГА+ИНС. Чтобы сохранить некую преемственность с ранее полученными результатами, мы сохранили в качестве динамического объекта инерционное звено второго порядка с теми же значениями коэффициентов, что и в разделе с нейроконтроллером.
Наш первый опыт [25], наверное, и нельзя назвать эмулятором. По существу, мы пытались построить нейронную сеть, которая аппроксимировала бы правые части системы уравнений (9). Для определенности мы приняли, что сеть будет трехслойной с конфигурацией 3-8-2 (т. е. с тремя нейронами во входном слое, восемью нейронами в скрытом слое и двумя суммирующими нейронами в выходном слое). На вход сети подавался входной сигнал и, выходной сигнал на предыдущем шаге х₁ и его производная х₂.
На выходе сети формировались первая и вторая производная выходного сигнала Х₁ и Х₂ (см. рис. 21).


Рис. 21. Первый опыт синтеза эмулятора

Существенным отличием от контроллера было то, что в качестве активационных функций нейронов скрытого слоя мы ввели функцию следующего типа:
n
(11)
X wixi + w0
I i=i
которая являлась неким гибридом сигмоидальной и радиально-симметричной функций.
Основанная на слепом ГА тренировочная процедура включала в себя практически те же этапы, что и при синтезе нейроконтроллера. Популяция состояла из 100 бинарных хромосом.
Каждая хромосома содержала 250 генов и кодировала 50 параметров сети. Пригодность каждого из вариантов сети имитировать реакцию объекта на возбуждение оценивалась путем подачи на вход сети последовательно двух сигналов: единичной ступеньки, а также нулевого сигнала.
Проинтегрированные сигналы с эффектор-ного слоя ИНС сравнивались с результатами решения дифференциального уравнения (9) для тех же случаев. Погрешность работы ИНС оценивалась путем интегрирования ошибок (4) для обоих случаев на интервале времени [0, 10 с] и последующего их суммирования.
Рис. 22 иллюстрирует результаты эмуляции отклика сетью, достигнутые к 5000-му поколению.
Недостатком эмулятора было то, что он хорошо вел себя только при тех возбуждениях, при которых производилось обучение. При подаче на его вход сигнала с промежуточной амплитудой (между 0 и 1) его поведение существенно отличалось от поведения объекта.
Конечно, можно было бы, оставаясь в рамках прежней идеологии обучения, заставить его запомнить поведение объекта при любых значениях амплитуды, но этот путь показался нам слишком экстенсивным. Поэтому мы обратились к методике обучения RBF-сети, представленной на странице 38, и рассмотрели ее как потенциального претендента на роль локального ускорителя ГА.




Рис. 22. Переходная функция объекта управления по координатам х_г (а) и х₂ (б) (сплошная кривая) и ее эмуляция сетью (пунктир)
Сама по себе, методика хороша тем, что позволяет очень быстро решить задачу тренировки сети хотя бы в первом приближении. Вместе с тем, ее ограниченность также бросается в глаза.
Во-первых, она требует большого количества что называется ручного труда, даже если пространство входных сигналов обладает низкой размерностью, а количество входных шаблонов мало. Все равно, мы должны проанализировать, насколько далеко шаблоны расположены друг от друга, чтобы не ошибиться с выбором ширины окон активационных функций.
Во-вторых, ситуация становится обескураживающей, если шаблонов у нас слишком много (скажем, более 1000 или 10000). На практике очень трудно сказать apriori, какие именно эпизоды взаимодействия с объектом могут стать источником хороших шаблонов для построения нейросетевой модели объекта.
Ясно только одно - ситуация, когда мы знаем об объекте мало, заведомо хуже, чем когда мы знаем много.
Конечно, работать с сетью, содержащей 10000 нейронов в скрытом слое, можно, но вряд ли удобно. Да и трудно рассчитывать на быстрое решение уравнения (7). Возникает вопрос а действительно ли нужны все эти шаблоны? Может быть, среди них есть такие, которые достаточно полно характеризуют объект и с которыми только и стоит работать?
Но как тогда их отфильтровать? Можно просто отказаться от части шаблонов, чтобы размеры сети стали удобоваримыми, но тогда мы рискуем потерять важную информацию об объекте и получить некоторое весьма неточное решение поставленной задачи.
Для того, чтобы выяснить, какие шаблоны являются действительно ключевыми в понимании динамики объекта, а также одновременно выполнить синтез нейроэмулятора с минимальной структурой скрытого слоя, мы скомбинировали методику настройки синаптических весов RBF-сети с ГА.
В разработанной процедуре [26,27] на каждой итерации поиска ГА самостоятельно выбирает, в каких точках пространства входных сигналов сети разместить центры активационных функций нейронов скрытого слоя, и назначает для каждой из них ширину окна. Соответственно, в отличие от предыдущего случая слепого поиска, хромосомы содержат теперь только информацию о параметрах нейронов скрытого слоя сети, но не о синаптических весах нейронов выходного слоя.
Схема кодировки хромосом представлена на рис. 23.

Бинарная строка

1 1 0 0 0 1 1 1 1 1 0 1 1 0 0 0 1 1 0 о о 10 11 11

При декодировании хромосомы в вектор переменных одновременно с величиной настроечных параметров конкретизируется сама структура скрытого слоя сети.
Из рис. 23 видно, что максимальный размер скрытого слоя ограничен количеством однотипных сегментов, образующих хромосому. В действительности же, в силу того, что мы вынуждены контролировать величину настроечных параметров, он всегда получается несколько меньшим.
На первом этапе проверяется ширина окна активационных функций нейронов. Если для какого-либо из них она оказывается меньше некоторого порогового значения (принятого в наших экспериментах равным 0,01), то такой нейрон опускается.
Кроме того, чтобы можно было воспользоваться методикой настройки синаптических весов, представленной на странице 38, необходимо, чтобы центры активационных функций совпадали с тренировочными шаблонами в пространстве входных сигналов сети. Поэтому мы ввели понятие 8-окрестности вокруг каждого тренировочного шаблона, равную 0,1. Если центр, закодированный в текущем сегменте хромосомы, входит в одну из таких окрестностей, то при дальнейшей настройке сети используется соответствующий тренировочный шаблон. В противном случае вся информация, хранящаяся в текущем сегменте, игнорируется, и вакансия в скрытом слое, зарезервированная для нейрона с тем же номером, остается открытой.
Для сети, сформированной в результате анализа вектора настроечных параметров скрытого слоя, вычисляются по (7) (а не подбираются, как при слепом поиске) синаптические веса выходных нейронов.
Репрезентативность задействованных в обучении сети шаблонов, то есть их способность замещать собой весь имеющийся опыт взаимодействия с объектом, оценивается путем предъявления сети всех известных шаблонов и суммированием ошибки в эмуляции по всему предъявленному набору. Последняя, как и раньше, используется при ранжировании популяции потенциальных решений, отборе особей на элиминирование и в родительскую группу для последующего скрещивания.
Алгоритм процедуры синтеза представлен на рис. 24.
Для проверки методики мы воспользовались предыдущей тестовой задачей. Сначала заменили объект библиотекой тренировочных шаблонов, сгенерировав ее посредством решения системы уравнений (9) при различных сочетаниях начальных условий по выходной координате объекта и ее производной, а также при различных значениях управляющего воздействия и. Затем компрессировали библиотеку, исключив из нее близко расположенные и совпадающие шаблоны. Если не сделать этого, при решении матричного уравнения (7) могут возникнуть проблемы из-за того, что интерполяционная матрица будет близка к особенной. Наконец, приступили к синтезу, для чего сгенерировали популяцию из 100 бинарных хромосом длиной по 1200 бит каждая.


Рис. 24. Комбинированная процедура тренировки RBF-сети
В результате оптимизации структуры и параметров ИНС нам удалось построить краткосрочный предиктор объекта (его параметры и структура описаны в Приложении 3), который на интервале до 30 секунд (при длине тренировочного интервала 10 с) весьма точно предсказывал поведение объекта при гармонических управляющих воздействиях в диапазоне частот от 0 до 1,6 Гц и амплитуде и от -1 до 1. Удивительно, что скрытый слой сети содержал всего 8 (!) нейронов, из чего, продолжая наши прежние рассуждения, можно заключить, что из 12000 шаблонов, описывающих наши эксперименты по изучению реакций объекта, только 8 оказались значимыми.
Этот впечатляющий результат, возможно, приоткрывает завесу над тайнами мышления, ведь он, по существу, предлагает механизм, объясняющий эффект когнитивного сжатия, о котором говорят психологи. Отталкиваясь от огромного числа эпизодов взаимодействия с объектом, мы получили очень компактную структуру, которая концентрирует этот опыт и формирует образ объекта, который можно использовать для решения задач искусственного интеллекта классификации объектов, диагностики их состояния, прогнозирования поведения при различных стратегиях управления и так далее.
Конечно, следует отметить, что синтез столь совершенного предиктора занял довольно много времени около 50000 итераций, но, скорее, это нормально, чем ненормально, так как функциональные особенности природного интеллекта, к каковым следует отнести и длительное время обучения, не могут не перейти к искусственному интеллекту.
Получив в руки столь мощную процедуру синтеза нейроэмуляторов, мы не смогли удержаться от соблазна проверить наши догадки относительно природы мышления на концептуальной модели интеллектуальной системы управления. В своих экспериментах с ней мы пытались найти для себя ответы на следующие вопросы.
1. Предположим, нейроэмулятор действительно является неким образом, существующим в рамках условного сознания, порожденного искусственным интеллектом. Если это так, то нейроконтроллер, "мысленно" натренированный путем экспериментирования с этим отражением внешнего мира, должен уметь управлять и самим динамическим объектом.
Осуществимо ли это?
2. Можно ли на платформе развитых представлений построить адаптивную систему, которая самостоятельно могла бы улавливать изменения в объекте, перестраивать свои внутренние представления, а в конечном итоге, вырабатывать новую оптимальную стратегию воздействия на него?
3. Является ли сочетание ГА+ИНС настолько мощным в вычислительном плане, чтобы обеспечить действительно адаптивные свойства системы управления в условиях, когда характеристики объекта изменяются с течением времени самым непредвиденным образом?
Из трех вопросов наиболее сложным для нас являлся третий, потому что, не сумев ответить на него утвердительно, мы не смогли бы дать определенный ответ и на второй вопрос.
Потенциальные трудности в решении задачи адаптации видятся, прежде всего, в том, что адаптация, хотя и не является синонимом оптимизации, немыслима вне оптимизационных постановок, а процесс оптимизации должен быть сходящимся со всеми вытекающими отсюда последствиями. Любой численный метод в явном или неявном виде опирается в процессе поиска экстремума на популяцию потенциальных решений, на которой и осуществляется отбор. Но когда экстремум найден, популяция оказывается вырожденной.
Решения становятся похожими друг на друга как две капли воды, естественное разнообразие истощается и популяция теряет потенциальную способность к отслеживанию изменений в среде.
Обычный прием, который применяется для восстановления поисковой способности это полная регенерация популяции (если выполнить частичную регенерацию, сохранив хотя бы несколько особей из старой популяции, они, уже обладая неплохой приспособленностью, сыграют на фоне плохо приспособленных новых членов роль сверхиндивидов и, подобно аттракторам, притянут через своих потомков всю популяцию к себе), но его искусственность очевидна, кроме того, не ясно, как система должна догадаться, когда именно следует его применять.
Как кажется, нам удалось, если не навсегда преодолеть эту трудность, то, по крайней мере, существенно раздвинуть границы эффективной работы эволюционных методов. Выход был найден не в новых генетических операторах, а в непривычной для классической науки форме представления генетической информации а именно, в форме, заимствованной у диплоидных организмов.

СНОВА О ГЕНЕТИЧЕСКИХ АЛГОРИТМАХ

Когда мы говорили выше об эквивалентности понятий генотип в биологии и вектор переменных в математике, следовало бы оговорить, что эта эквивалентность имеет смысл только тогда, когда речь идет о гаплоидных организмах, то есть об организмах, обладающих одинарным набором хромосом. К таковым относятся бактерии, водоросли и многие другие простейшие организмы, занимающие низшие ступени эволюционного развития.
Млекопитающие, и в частности, человек, являются диплоидными организмами. В ядре каждой клетки каждого из нас (за исключением половых клеток сперматозоидов и яйцеклеток которые являются гаплоидными ) в норме содержится двойной набор из 23 хромосом. Один комплект достался нам, как известно, от отца, а другой от матери. В обоих комплектах существуют так называемые гомологичные хромосомы, кодирующие одни и те же фенотипические признаки и обладающие, в принципе, одинаковой структурой.
Так, и в отцовской, и в материнской хромосомах идентичные фрагменты кодируют цвет глаз. Тем не менее, цвет глаз ребенка зависит от того, каковы отношения доминирования между генами родителей.
О том, как регулируются в природе отношения доминантности рецессивности между гомологичными генами родительских хромосом, у биологов нет единого мнения и теперь. Разработаны различные феноменологические модели, одни из которых предполагают механизмы полного доминирования, исключающие активность гена, находящегося в рецессивном состоянии.
Другие модели допускают, что оба гена могут проявлять активность одновременно, но в разной степени (ко-доминирование).
Для нас это не так важно. В конце концов, ведь мы не ставим перед собой задачу воссоздания закономерностей, действующих в Природе. Мы можем устанавливать свои собственные законы, потому что сама эволюция у нас искусственная и нет никаких особых ограничений на то, как в наших диплоидных популяциях будут эволюционировать отношения доминантности рецессивности в генах потомства.
Существенно другое, а именно сам принцип, как передается по наследству и как декодируется в фенотипические признаки генетическая информация особей.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Иначе говоря, если привлечь геометрические интерпретации, код Грея гарантирует, что две соседние, принадлежащие одному ребру, вершины гиперкуба aL, на котором осуществляется поиск, всегда декодируются в две ближайшие точки пространства вещественных чисел m , отстоящие друг от друга на одну дискрету точности. Двоично-десятичный код подобным свойством не обладает.

Генетические операторы

Те механизмы передачи наследственности, которые действуют в Природе, и упрощенная форма которых положена в основу того, что мы называем генетическими операторами, на самом деле, следует рассматривать как победителей, одержавших верх в напряженной многовековой борьбе над конкурентами и отшлифованных естественным отбором в такой же мере, как и все, что нас окружает. Сегодня понятно, что генетические операторы могли быть заимствованы не только из микробиологических исследований, но и из анализа языковых явлений (достаточно проанализиро-ватъ комбинаторные эвристики, применяемые человеком при решении кроссвордов) или изобретателъской деятелъности [4]. Но это сегодня; а двадцатъ лет назад нужно было обладатъ гениалъностъю Дж.
Холланда, чтобы догадатъся, как интерпретироватъ принципы действия "биологических" механизмов для решения задач адаптации в искусственных системах.
Едва ли не главным итогом почти четвертъвекового периода исследования самих ГА стало понимание прекрасной взаимной комплиментарно-сти триады генетических операторов кроссовер мутация инверсия. Воздействуя с некоторой вероятностъю на генотипы родителъских особей, каждый из них, с одной стороны, обеспечивает передачу потомству жизненно важных признаков, а с другой поддерживает на протяжении эво-люционно значимого периода достаточно высокий уровенъ его изменчивости.
Выщепление в потомстве новых, отличных от родителъских, фенотипических признаков открывает для популяции дополнителъные возможности для адаптации, то естъ способствует сохранению ею поисковой способности.
Итак, оператор мутации (см. рис. 4), подобно точечным мутациям в Природе, интерпретируется как замена существующего аллелъного состояния отделъного гена в хромосоме на противоположное (единицы на нолъ и наоборот). Очевидно, что в зависимости от того, в каком разряде фрагмента, кодирующего переменную, произойдет мутация, зависит величина расстояния, отделяющего потомка от родителя (речъ идет не о хэм-


Рис. 4. Триада генетических операторов
У всех трех операторов место приложения, помеченное значком Ў, выбирается случайно
минговом пространстве aL, где это расстояние равно 1, а о пространстве вещественных чисел ^N). Инверсия приводит к нарушению порядка следования фрагментов хромосом у потомка по сравнению с родительской хромосомой. Наконец, кроссовер, описывающий механизм гаметогенеза в диплоидных популяциях организмов и привнесенный Холландом в моделирование эволюции гаплоидных популяций, приводит к тому, что хромосома потомка включает два фрагмента, один из которых принадлежал ранее, условно говоря, отцовской хромосоме, а другой материнской.
Именно благодаря наличию кроссоверных обменов особи популяции обмениваются между собой генетической информацией, то есть поиск приобретает действительно коллективный характер.
Иногда, говоря о триаде генетических операторов, подчеркивают способность кроссовера и инверсии к глобальному поиску, в то время как мутацию отождествляют со средствами локальной настройки решения, отводя ей фоновую роль. Такое распределение ролей представляется спорным, так как мутация может породить потомка далеко за пределами локального экстремума, в которой находится родитель, с другой стороны, кроссовер, проведенный над гаметами родителей, расположенных в общем экстремуме, наверняка породит потомков в этом же экстремуме. Важно другое ни кроссовер, ни мутация не опираются в процессе генерирования потомка на знание локального рельефа поверхности целевой функции.
В этом смысле их можно считать глобальными.

Преимущественное право размножения сильнейших

Стиль мышления, принятый в биологии, сильно отличается от технического мышления. В биологии мельчайшей единицей, значимой в эволюционном смысле и заслуживающей внимания, выступает популяция, а не отдельная особь.
О том, насколько популяция адаптирована к среде, насколько благополучно она развивается, судят по динамике ее численности. Не столь интересно, стали ли рога у оленей ветвистее, важно, чтобы прирост численности стада был положительным. Коэффициент размножения, усредненный по популяции, рассматривается как единственный и универсальный критерий приспособленности популяции к условиям обитания
[5].
С другой стороны, индивидуальная приспособленность особи оказывает прямое влияние на будущее популяции. Чем больше потомков данной особи доживет до репродуктивного возраста, тем большее число членов популяции будущего поколения будет нести ее аллели. Приспособленность, рассматриваемая как мера влияния генотипа на будущее, пишет Холланд в [1], представляет идею, полезную во всем спектре проблем адаптации. Хороший способ рассмотреть эту идею в более широком контексте, это рассматривать тестирование генотипов как процедуру формирования выборок (под выборкой sample Холланд подразумевает текущую популяцию Прим.авт.).
Проcтранcтво выборок в этом случае представляет собой набор всех генотипов а, а результатом оценивания каждой структуры становится приспособленность ц_Е соответствующего фенотипа. Общий вопрос, связанный с приспособленностью, звучит так: В какой степени оценка Ц_е($) какой-либо структуры $еа оказывает
влияние или изменяет план т формирования новой выборки? Оглядываясь назад скорее чем вперед, мы сталкиваемся с другим взаимосвязанным вопросом: Как история результатов тестирования предыдущих выборок оказывает влияние на текущий план формирования новых?
Ответы на эти вопросы уходят далеко к определению того, что составляет основу любого адаптивного процесса.
Мы уже видели, продолжает Холланд, что ответ на первый вопрос, что касается генетических систем, состоит в том, что будущее влияние каждой особи $еа прямо пропорционально оценке приспособленности Ц_е(^$). Вообще, это отношение не обязательно существует много
признанных процедур для оптимизации, математического обучения и др., где отношение между оценкой качества и будущими структурами довольно другое. Тем не менее, воспроизводство в пропорции к достигнутому качеству является важной идеей, которая может быть обобщена с тем, чтобы сделать планы формирования выборок репродуктивныіе планыі применимыми к любой задаче адаптации...
Таким образом, как мы видим, отличительной чертой репродуктивных планов Холланда является право более приспособленных дать большее количество потомков.
Любопытно, но при условии неизменной численности популяции (а в компьютерном моделировании эволюции это условие невозможно игнорировать) применение принципа преимущественного размножения более приспособленныіх приводит к несколько неожиданному результату в популяции размножаются как быі не сами особи, а гены. По существу, это эквивалентно понижению уровня рассмотрения системыі: мыі оперируем не особями, а генами.
Геныі борются друг с другом за выіживание, сильныіе вытесняют из генофонда популяции слабыых.
Простой репродуктивный план включает две повторяющиеся процедуры. В течение первой из них дополнительные копии некоторых особей, обладающих приспособленностью выше среднего по популяции уровня, добавляются к текущей популяции %(t), в то время как некоторые особи с
низкой приспособленностью элиминируются. Более точно, каждая особь получает возможность стать родителем с вероятностью, пропорциональной ее приспособленности. В течение второй процедуры генетические операторы воздействуют на генотипы потомков, модифицируя наборы аллелей так, чтобы исключить идентичность потомков и родителей. В результате получается новая популяция %(+1).
Процесс итеративно повторяется, генерируя последовательность поколений генотипов.
Заметим, что в контексте вышесказанного популяция имеет такое же отношение к процессу адаптации, как понятие состояния к законам физики или передаточной функции к теории автоматов. Знание состава текущей популяции позволяет определить структуру следующего поколения, не обращаясь к предыдущему. Обобщенным оператором, выполняющим преобразование %(t) в %(+1) и является репродуктивный план т. Модифицируя генотипы генетическими операторами ще Q в рамках возможностей, ограниченных структурой а, репродуктивный план генерирует новые особи, более приспособленные к среде E. Обозначив через I(t)= ^_E($ftJ) реакцию среды, противостоящей адаптивной системе, Холланд дает следующее символическое определение репродуктивному плану

Репродуктивный план Холланда

- Шаг 1. Инициализация начальной популяции
Ввести точку отсчета эпох ^ Инициализировать случайным образом M генотипов особей и сформировать из них начальную популяцию %(0)=($і(0),---,$м(0)). Вычислить
приспособленность особей популяции ?(0)=(р₁(0),...,р_м(0)), а затем среднюю приспособленность по популяции
M
0) = ?ц h (0)/ M.
h=1
- Шаг 2. Выбор родителей для скрещивания
Увеличить номер эпохи на единицу t=t+1. Определить случайную переменную Rand_t на множестве Zm={1,^, М}, назначив вероятность выпадения любого h е Z_M пропорциональной р_h (t) / jLt(t). Сделать одно испытание Rand_t и вычислить результат i (t), который определит номер первого родителя Повторным испы
танием определить номер второго родителя i'(t).
- Шаг 3. Формирование генотипа потомка
С вероятностью P_c произвести над генотипами выбранных родителей кроссовер. Выбрать с вероятностью 0,5 одного из результантов и сохранить его как 1$(t). Последовательно применить к
1$(t) оператор инверсии (с вероятностью Pi), а затем мутации (с вероятностью P_m). Полученный генотип потомка сохранить как $'.
- Шаг 4. Отбор особи на элиминирование и замена ее потомком
С равной вероятностью 1/ M для всех h е Z_M определить случайным образом номер j(t) особи в популяции, которую заместит потомок. Обновить текущую популяцию %(t) путем замены ^$щ(0 на $'(t).
- Шаг 5. Определение приспособленности потомка Вычислить приспособленность потомка J_E($/(t)). Обновить значение средней приспособленности jLt(t) и вектор приспособленностей v(t).
- Шаг 6. Перейти к шагу 2.
Приведенные на последних двух страницах соображения являются достаточно общими, чтобы не ограничивать нашу инициативу с опробованием различных стратегий отбора на скрещивание и элиминирование, выбором порядка и интенсивности воздействия генетических операторов. За последние 10 лет во всем мире был выполнен огромный объем исследований в этом направлении, изучены различные комбинации эвристик, а также новые подходы, усовершенствующие поисковую способность ГА.
Поскольку аналитические методы исследования условий и скорости сходимости наталкиваются в этой области на серьезные проблемы, была разработана целая система тестовых задач (benchmark), предназначенных выявить относительную эффективность различных версий алгоритма. На них же было осуществлено сравнение ГА с другими техниками и доказана уникальность его способностей для решения задач глобальной оптимизации.
Однако многие исследователи подчеркивают, что при всей внешней простоте замысла ГА требуют значительных усилий при настройке под конкретную задачу, даже по сравнению с близкими им по духу эволюционными методами (так называемыми эволюционными стратегиями). В настройке нуждаются, прежде всего, вероятности применения генетических операторов, оказывающие существенное влияние на сбалансированность процессов отбора и изменчивости.
Некоторые руководства рекомендуют априорно выбирать величины этих стратегических параметров на уровне Р_с = 0,9; Pi =0,01; P_m=0,1.
По-видимому, следовало бы говорить не о сложности применения ГА вообще, а об адекватности уровней сложности алгоритма и решаемой задачи. Чем проще задача, тем бессмысленнее становятся различные ухищрения с кодировкой генотипов, настройкой вероятностей ит. п. В пределе, если целевая функция имеет единственный экстремум в исследуемой области, применение ГА теряет всякий смысл, так как любой локальный метод найдет решение быстрее и проще для нас.
С другой стороны, нельзя сказать, что нет такой задачи, которую нельзя было бы не решить с помощью ГА. К сожалению, таких задач достаточно, и вряд ли кто-нибудь возьмет на себя смелость предсказать, когда они исчерпаются.
Где же проходит сегодня граница разумной сложности задачи? Наверное, все определяется тем, какими ресурсами мы располагаем персональной РС386 или транспьютером Т64000.
Часто называют более определенный критерий задача должна быть решена за одну ночь работы компьютера уровня Pentium-100.
Как бы ни было, на сегодняшний день ГА реально продвинули вперед границы наших вычислительных возможностей. Процедурно работу одной из его быстро сходящихся версий можно проиллюстрировать блок-схемой, представленной на рис. 6.


Рис. 6. Репродуктивный план Холланда

На первом этапе случайным образом генерируем исходную популяцию бинарных хромосом. Декодируем значения переменных из двоичного к вещественному виду.
При помощи математической модели определяем индекс приспособленности каждого решения и в зависимости от его величины упорядочиваем популяцию. Вычисляем среднюю по популяции приспособленность. Опираясь на нее, назначаем вероятность, с какой каждая особь, обладающая приспособленностью выше среднего уровня, может стать родителем.
При этом для каждого родителя есть две возможности - либо просто быть скопированным в следующее поколение, либо подвергнуться воздействию генетических операторов в процессе генерирования хромосомы потомка.
Далее оцениваем приспособленность потомка, и, действуя аналогичным образом, постепенно заполняем популяцию следующего поколения. Через M шагов новое поколение оказывается сформированным.
Ясно, что поскольку оно получено от лучших родителей, то его приспособленность должна быть также высокой. Не вызывает сомнений, что, блокируя слабо приспособленным особям возможность стать родителем и дать потомство, мы увеличиваем или, по крайней мере, не уменьшаем среднюю по популяции приспособленность.
Работу алгоритма прекращаем при достижении популяцией состояния адаптации, идентифицируемому по стягиванию ядра популяции сначала в плотное облачко, а затем - в точку. Кроссовер как механизм изменчивости теряет в таких условиях свою силу - при скрещивании идентичных родителей потомок ничем не будет отличаться ни от одного из них.
Мутация и инверсия будут по-прежнему модифицировать потомство, тестируя все новые и новые точки поискового пространства, но безуспешно - лучше найденного решения нет, и потомки не смогут даже втиснуться в вырожденное ядро.
К сожалению, мы почти никогда (за исключением аналитически сконструированных тестовых задач) не можем с уверенностью утверждать, что найденное решение представляет собой глобальный экстремум. Фенотипическое и генотипическое вырождение популяции является необходимым, но не достаточным признаком успешности поиска. Оно только свидетельствует, что какойто экстремум найден, но ничего не говорит о том, каков его характер.
Тем не менее, нам не остается ничего другого, как довольствоваться достигнутым результатом. В противном случае лучше повторно запустить задачу в надежде на более благоприятное развитие событий, чем ждать чуда от истощенной популяции.
Эволюция неповторима и при новом сочетании случайных факторов решение может оказаться более привлекательным.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Сеть нейронов, образующая человеческий мозг, представляет собой высокоэффективную комплексную, существенно параллельную систему обработки информации. Она способна организовать свои нейроны таким образом, чтобы реализовать восприятие образа, его распознание во много раз быстрее, чем эти задачи будут решены самыми современными компьютерами.
Так распознание знакомого лица происходит в мозге человека за 100120 мс, в то время как компьютеру для этого необходимы минуты и даже часы.
Сегодня, как и 40 лет назад, несомненно то, что мозг работает более эффективно и принципиально другим образом, чем любая вычислительная машина, созданная человеком. Именно этот факт в течении стольких лет побуждает и направляет работы ученых по созданию и исследованию искусственных нейронных сетей.

Эволюция взглядов на высшую нервную деятельность

Вопрос, является ли живой организм чем-то вроде машины, впервые был поднят французским философом и математиком Рене Декартом (15961650). Декарт жил в период подъема механики, когда Кеплер и Галилей приступили к разработке идей о движении небесных тел. Радикально новые взгляды на человека и Вселенную получали тогда только первый толчок.
До этого царили представления, что законы Природы, начиная от падения камней и заканчивая движением планет, являются неизменными и незыблемыми. Вселенная представлялась как поражающий воображение своими масштабами часовой механизм, созданный и приведенный в движение Великим Творцом. На бытовом уровне эти представления находили воплощение в механических безделушках, создаваемых для обитателей зажиточных домов Европы.
Часы с кукушкой, фонтаны в аллеях, обливающие посетителей, случайно наступивших на скрытую пружину разве нельзя было объяснить мысли и действия человека в похожих механистических терминах?
По Декарту, все действия, как у человека, так и у животных, являются ответом на события внешнего мира. Внешний раздражитель возбуждает один из органов чувств. Возбуждение передается в мозг, который направляет его на соответствующие мускулы. Таким образом, возбуждение органов чувств приводит к сокращению мускул, то есть к развитию реакции на внешний раздражитель.
Энергия раздражителя как бы отражается обратно нервной системой через мускулы животного. Термин рефлекс (от англ. reflex отражение, отсвет, отблеск) берет начало именно в этих рассуждениях Декарта.
Прогресс в понимании механизмов таких реакций был достигнут несколько позднее на опытах с животными, у которых был удален мозг. Около 1750 года шотландский ученый Витт доказал, что такие движения контролируются спинным мозгом.
Он обнаружил, что обезглавленная лягушка отдергивает ноги от булавки, но если удалить у нее одновременно головной и спинной мозг, она перестает реагировать на уколы.
Дальнейший толчок в изучении безусловных рефлексов был получен во время Французской Революции. Пьер Кабани, друг и врач некоторых ее лидеров, исследовал, сохраняется ли сознание после гильотинирования. Он пришел к выводу, что нет, и что судороги обезглавленного тела являются скорее рефлекторными действиями.
Эти мрачные исследования были продолжены немецким исследователем Теодором Бишофом, который выполнил серию экспериментов над головами казненных преступников. Даже достаточно сильные возбудители не производили никакого эффекта в течение первой минуты после обезглавливания.
Классические условные рефлексы первым описал в начале XX века И. П. Павлов, сразу же усмотревший в них простейшую форму обучения, благодаря которой ассоциируются два события. При классическом условном рефлексе исходно неэффективный раздражитель, называемый условным, повторно сочетается с высокоэффективным раздражителем, называемым безусловным. Вначале условный раздражитель вызывает лишь слабый ответ или вообще никакого; безусловный раздражитель провоцирует бурную реакцию без какого бы то ни было предварительного обучения.
В результате выработки условного рефлекса условный раздражитель приобретает способность вызывать либо сильный, либо новый ответ. Для того, чтобы образовалась условная связь, то есть произошло обучение, условный раздражитель должен коррелировать с безусловным, предшествуя ему на некоторый критический промежуток времени.
До начала текущего столетия большинство нейрофизиологов верило, что маршрут рефлекса пролегает через существенно непрерывные нити нервной ткани. Понятие синапса, щели между нейронами, посредством которой они должны взаимодействовать, является сравнительно новым.
Исследования, устанавливающие наличие синапса и его роль в нервной активности, были выполнены на рубеже веков английским физиологом сэром Чарльзом Шеррингтоном (18571952). Работа Шеррингтона затрагивала поведенческий уровень, а не электрофизиологический.
Тем не менее, из анализа рефлекторных действий собак, кошек и обезьян он сумел разгадать основные принципы работы синапса.
К первым попыткам раскрыть секреты анатомической организации мозга можно отнести исследования Сантьяго Рамон-и-Кахаля (1911). Применив метод окраски нейронов солями серебра, разработанный ранее Ка-милло Гольджи (серебро избирательно проникает в нейроны, но не пропитывает другие клетки мозга), Кахаль увидел, что мозг имеет клеточную архитектуру.
Кроме нейронов в cоcтав мозга входят разнообразные глиальные клетки, выполняющие опорные функции и участвующие в репарационных процессах. Кахаль описал нейроны как поляризованные клетки, которые получают сигналы сильно разветвленными отростками, получившими название дендритов, а посылают информацию неразветвленными отростками, названными аксонами
Окрашивание по Гольджи позволило выявить огромное разнообразие нейронов по форме тела, разветвленности дендритной части и длине аксона. Кахаль выявил различия между клетками с короткими аксонами, взаимодействующими с соседними нейронами, и клетками с длинными аксонами, проецирующимися в другие участки мозга.
Несмотря на различия в строении, все нейроны проводят информацию одинаково. Информация передается по аксонам в виде коротких электрических импульсов, так называемых потенциалов действия, амплитуда которых составляет около 100 мВ, а длительность 1 мс.
Возникновение импульсов связывают с движением положительно заряженных ионов натрия через поверхностную клеточную мембрану из внеклеточной жидкости внутрь клетки, в ее цитоплазму.
Концентрация натрия в межклеточном пространстве примерно в 10 раз больше его внутриклеточной концентрации. В состоянии покоя поддерживается трансмембранная разность потенциалов около -70 мВ. При этом ионы натрия проникают в клетку медленно, так как доступ туда для них ограничен свойствами мембраны.
Физическая или химическая стимуляция, деполяризующая мембрану, увеличивает ее проницаемость для ионов натрия. Поток натрия внутрь клетки еще сильнее деполяризует мембрану, делая ее все более проницаемой.
Когда достигается некоторое критическое значение потенциала, называемое пороговым, положительная обратная связь приводит к регенеративным сдвигам, в результате которых знак разности потенциалов изменяется на противоположный, то есть внутреннее содержимое клетки становится заряженным положительно по отношению к внешней среде. Приблизительно через 1 мс проницаемость мембраны для натрия падает и трансмембранный потенциал возвращается к своему значению в состоянии покоя -70 мВ.
После каждого такого "взрыва" нейрон остается на несколько миллисекунд рефрактным, то есть натриевая проницаемость мембраны в этот период не может изменяться. Это кладет предел частоте генерации импульсов не более 200 раз в секунду.
Хотя аксоны и похожи на провода, импульсы они проводят иначе. Их кабельные характеристики неважные: сопротивление вдоль оси слишком велико, а мембранное сопротивление слишком мало. Положительный заряд рассеивается уже через 12 мм. Чтобы преодолевать расстояния, составляющие иногда несколько сантиметров, импульсы должны регенерироваться.
Необходимость повторно усиливать ток ограничивает максимальную скорость распространения нервного импульса по аксону до 100 м/с.
Связи между нейронами опосредуются химическими передатчиками нейромедиаторами выделяющимися из окончаний отростков нейронов в синапсах.

Некоммерческое программное обеспечение по ГА

Подписка на журнал осуществляется бесплатно. Достаточно послать запрос по электронной почте по адресу: Email: ga-list-REQUEST@aic. nrl.navy.mil с пометкой Subscribe в строке письма Subject.
Журнал имеет свой архив, доступный по адресам: или ftp://ftp.aic.nrl.navy.mil:/ pub/galist/.
Другой электронный журнал, на который также можно бесплатно подписаться по электронной почте, известен под названием GANN (Genetic Algorithms and Neural Networks). Он, конечно, более специализирован и посвящен сугубо проблемам эволюционного синтеза нейронных сетей.
Официальный адрес журнала, куда следует направлять запрос на подписку с пометкой Subscribe в строке письма Subject, следующий: Email://gann-request@cs. iastate. edu.
Кроме электронных журналов в Интернете проходят заочные конференции. Одна из них (1st On-line Workshop on Soft Computing WSC1) была проведена в августе 1996 года Нагойским университетом, Япония.
Процедурно конференция организована следующим образом. Вы как участник обязаны представить доклад в PostScript формате, а после того, как организаторы конференции сформируют страницу на сервере, ознакомиться с докладами и принять участие в дискуссии, осуществляемой по электронной почте.
Конференция заняла 2 недели и имела успех. Ознакомиться с ее материалами можно по адресу: .
Наконец, несколько слов о крупнейших научных и учебных центрах, уделяющих большое внимание просветительской работе в области ГА.
При Алабамском университете создан Дом просвещения, который занимается распространением технических отчетов по ГА. Они хранятся в сжатом виде в PostScript формате на FTP сервере университета ftp: //aramis. cs. ua. edu/pub/tech-reports/.
В Университете Джорджа Мэйсона работает одна из наиболее сильных в США исследовательских групп. Многие из статей участников группы хранятся в виде PostScript-файлов на сервере research/gag/.
При университете штата Мичиган работают 2 организации, занимающиеся вопросами распространения эволюционных технологий в мире, а также внедрением достижений эволюционной парадигмы в сферу промышленного производства. Первая из них, РоссийскоАмериканский Консорциум по интеллектуальным САПР и Генетическим Алгоритмам, объединяет усилия Университета штата Мичиган, шести российских технических университетов (Бауманское училище, Московский авиационный институт, Нижегородский университет, Таганрогский университет радиоэлектроники и др.), а также Харьковского политехнического университета в развитии эволюционных методов оптимального проектирования, а также в поиске новых прикладных областей для ГА. Вторая организация, так называемый GARAGe (Genetic Algorithm Research and Application Group), имеет более практическую направленность и занимается осуществлением финансируемых промышленностью США проектов.
Некоторые из российских участников Консорциума одновременно являются участниками GARAGe. Информацию об исследовательских проектах GARAGe можно найти в WWW по адресу .
Школа когнитивных и компьютерных наук Университета графства Сассекс, Англия, также хорошо известна своими достижениями в ГА и ИНС. Адрес сервера школы : http://www.cogs.susx.ac.uk:/lab/adapt.
В Интернете можно найти большое количество программного обеспечения по ГА и ИНС. Причем, большая часть пакетов распространяется и предлагается бесплатно.
Исходные модули и уже скомпилированные файлы и инструкции пользователю можно найти на тех же серверах. Ниже в таблицах мы приведем более подробные данные по ним, а также данные, касающиеся пакетов, распространяемых на коммерческой основе.
В завершение два слова об аппаратной реализации нейронных сетей. Сегодня, по крайней мере, девять солидных фирм (Intel Согр.; NeuroDynamX, Inc.; HNC, Inc.; SAIC; Micro Devices; NeuralWare, Inc.; Tubb Research Limited; Adaptive Solutions Inc.; IC Tech) предлагают на рынке свои разработки в области ИНС.
К сожалению, они пока что довольно дорогостоящие . Для примера приведем данные по аналоговой плате 80170NW фирмы Intel, содержащей полностью связанную электрически тренируемую сеть из 64 нейронов.
Таблица П6.3

Нейрочипы фирмы INTEL Corp.

Intel 80170 chip set $940 Intel EMB Multi-Chip Board $9750 Intel iNNTS NN Development System $11800

Сама Intel по неизвестным причинам сняла плату с производства, но ее распространением продолжают заниматься ее партнер - NeuroDynamX (Email: ), а также разработчик специализированного программного обеспечения California Scientific Software (Email: calsci!mittmann@gvgpsa. gvg.tek.com).
Таблица П6.4

Некоммерческое программное обеспечение по ГА

Название пакета Рабочая среда/ Язык Характеристика пакета Кодирование переменных Адрес сервера Genesis С Первый пакет, получивший широкое признание il/pub/galist/src/g a/genesis.tar.Z Evolution Machine Dos/ C Пакет для решения оптимизационных задач с хорошо развитой графикой вещест венное ftp-bionik.fb10. tu-berlin.de:/ pub/software/Evo lution-Machine/ GAGA (GA for General Application) Dos/C Пакет для минимизации трудных целевых функций ftp://cs.ucl.ac.uk:/ darpa/gaga.shar

GANNET:	UNIX/C	Пакет для синтеза нейронных сетей	бинарное	ftp/: fame.gmu. edu:/gannet/ source/
Genitor	UNIX / C	Параллельный ГА для решения комбинаторных задач	вещест венное, бинарное	u: / pub/GENIT OR .tar
GENOCOP	UNIX / C	Пакет для численной оптимизации с линейными ограничениями	вещест венное	ftp.uncc.edu:/coe/ evol/ genocop2.tar .Z
GENlib	UNIX, Dos/C	Многоцелевой пакет, в том числе для синтеза ИНС	вещест венное, бинарное	tik.uni- kassel. de/pub/NeuralNet s/GA-and-NN/
PGAPack	Fortran и C	Библиотека модулей для параллельного ГА	все типы	. mcs.anl.gov/pgap ack.html
WOLF:	Sun, UNIX/C	Построения моделей на базе сплайнов	вещест венное	Автор: David Rogers, Email:drogers@ msi. com
GALOPPS 3.2	UNIX, Dos/C	Параллельный ГА с разными моделями популяций	вещест венное	/GA/software/soft ware-index.html

Таблица П6.5
Коммерческое программное обеспечение по ИНС

Название пакета	Рабочая среда/ Язык	Типы моделируемых сетей	Метод обучения	Адрес разра ботчика	Цена $US
nn/xnn	UNIX+X-Windows, Dos, Solaris, IRIX/C	прямонаправленные и рекуррентные сети,сети Хопфилда, Кохонена, RBF	BackPropa-gation, Градиентный спуск, МонтеКарло идр.	Email: arnemo@ ii.uib. no URL: i.uib.no/~arnemo/ neureka/neureka.h tml	2500
Neuro Fore caster	Windows	12 типов ней-рофаззи сетей	BackProp, FastProp, RBF, Генетический Алгоритм	Email:accel@ technet. sg	1199

OWL Neural Network Library (TM)	Dos, Windows-VAX, UINX,	20 типов сетей		Email:prodinfo@ hyperlogic.com	1050
Neural Connection	Windows	прямонаправленные сети, сети Кохоне-на, RBF		Email:sales@ spss.com	995
Pattern Rec ognition Workbench Expo/PRO	Windows	прямонаправленные сети, RBF	BackPro-pagation, Генетический Алгоритм	Email:unica@ unica-usa. com	995
BrainMaker Pro 3.0	Dos, Windows-Macintosh/C	прямонаправленные сети	QuickProp, градиентный спуск, Генетический Алгоритм	Email:calsci!mitt mann@gvgpsa. gvg.tek.com	795
Neuro- Shell2/ Neuro Windows	Win dows/C, Basic, Pascal	15 типов, включая прямонаправлен-ные сети, сети Кохонена	Градиентный спуск, Генетический Алгоритм	Email:WardSyste ms@ msn.com URL:. Wardsystems. com	495
NeuroLab, A Neural Network Library	Windows	любые архитектуры из 70 функциональных блоков	Back- Propagation	Email:	495
Название пакета	Рабочая среда/ Язык	Типы моделируемых сетей	Метод обучения	Адрес разра ботчика	Цена $US
Neuro- Genetic Optimizer 2.0	Windows	прямонаправленные сети, RBF	Генетический Алгоритм	Email:biocomp@ biocomp.seanet. com	195
SAS Neural Network Application	Window sOS/2, Solaris, AIX	прямонаправленные сети, RBF	стохастическая оптимизация, LVQ и др.	Email:eurgxh@ mvs.sas.com
MATLAB Neural Network Toolbox	Dos, Windows	прямонаправленные и рекуррентные сети,сети Хопфилда, Кохонена, RBF	более 10 видов, включая самообучение	. mathworks.com

Таблица П6.7
Некоммерческое программное обеспечение по ИНС

Название пакета	Рабочая среда/ Язык	Типы моделируемых сетей	Метод обучения	Адрес сервера
PDP++	UNIX с X-Windows/ C++	прямонаправленные и рекуррентные сети, сети Хопфилда	BackPro- pagation	mu.edu/pub/pdp+ +/ или c.uk/mirrors/pdp ++/
NevProp, Nevada Propagation	UNIX, Dos/ C	прямонаправленные сети	QuickProp, градиентный спуск	[134.197.10. 130]
WinNN	Windows	прямонаправленные сети	BackPro- pagation	u.au/pub/ win3/programr/w innn97.zip
Название пакета	Рабочая среда/ Язык	Типы моделируемых сетей	Метод обучения	Адрес сервера
AINET	Windows	прямонаправленные сети		in3/ pro gramr/ainet 100.zi p или . oakland.edu/ SimTel/win3/ math/ainet100.zip
SNNS 4.1 Stuttgart Neural Network Simulator	SunOS, Solaris, IRIX, Ultrix, OSF/C	прямонаправленные и рекуррентные сети, сети Хопфилда	BackProp, QuickProp, RBF Rprop, Cascade-Correlation и пр.	. uni-stuttgart.de [129.69.211.2]

РЕЗУЛЬТАТЫ СИНТЕЗА И АНАЛИЗ ПАРАМЕТРИЧЕСКОЙ ЧУВСТВИТЕЛЬНОСТИ НЕЙРОКОНТРОЛЛЕРА

РЕЗУЛЬТАТЫ СИНТЕЗА И АНАЛИЗ ПАРАМЕТРИЧЕСКОЙ ЧУВСТВИТЕЛЬНОСТИ НЕЙРОКОНТРОЛЛЕРА

Объект управления инерционное звено второго порядка (8). Параметры динамического объекта: T = 0,5, ^ = 0,1.
Цель управления подавление колебательности объекта.
Закон управления: u_k+1 = NC(x_k, x_k-1, u_rk ).
Дискретность управления: А = 0,1с.
\
+ wo
( n
1
i=1
У = th
Активационная функция нейронов скрытого слоя: Количество нейронов в скрытом слое: 5.
wixi




Рис. Ш.1 Огруктура нейроконтрол- Рис. П1.2 Схема работы нейроконтроллера на базе многослойного пер- _лер_а
цептрона NN351
Таблица П1.1

Параметры нейроконтроллера

Параметр Номер нейрона скрытого слоя Выходной нейрон 1 2 3 4 5 1 Wo 0,1989 -0,2478 0,1999 0,2038 -0,0269 -0,0978 W1 0,5797 -0,2454 -0,7576 -0,4604 -0,0244 1,4370 W2 -0,9609 0,9433 0,7498 -0,2493 -0,5230 -3,3920 W3 0,5347 -0,6090 0,1281 0,8592 0,7810 -9,8827 W4 5,5034 w5 6,2463

в)
Рис. П1.3 Реакция системы управления (кривая 2) с нейроконтроллером на входное воздействие (кривая 1) в виде гармонического сигнала с единичной амплитудой и частотой а) 0; б) 0,08; в) 0,16 иг) 0,32 Гц
Для оценки параметрической чувствительности системы был введен интегральный функционал качества:
t \







J(x (t)-u_r (t ))P dt
J (х )=
1
max 0
Здесь N=3 количество экспериментов, t_max=10 c время интегрирования переходного процесса в системе, u_r ступенчатое входное задание амплитудой -1, 0 и 1. Значение функционала, полученное при оптимальной настройке нейроконтроллера, равно J=0,0235.
На рис. П1.4 представлен график изменения функционала качества при изменении каждого из 26 параметров нейроконтроллера в диапазоне -100 100%. Как видно, изменение любого из 26 параметров в пределах -
20 20% не приводит к существенному ухудшению качества работы сис
темы (статическая ошибка 5%, перерегулирование ~15%, 1,22 колебания переходного процесса). Такой допустимый диапазон дрейфа параметров от заданного оптимального значения вполне может быть обеспечен при использовании стандартных полупроводниковых приборов.

Рис. П1.4. Зависимость качества работы системы управления от изменения параметров нейроконтроллера
Тем не менее, из рис. П1.4 видно, что разные параметры нейронной сети оказывают различное влияние на эффективность ее работы. Так, изменение параметров номер 10, 11 и 24 (веса первой и второй связей третьего нейрона скрытого слоя и вес связи с ним выходного нейрона, соответственно) вызывает наибольшие нарушения в работе нейроконтроллера.
В то же время 100%ое изменение 4, 17 и 22 параметров (вес третьей связи первого и смещение пятого нейронов скрытого слоя и вес первой связи выходного нейрона, соответственно) практически не сказывается на эффективности управления.
На рис. П1.5 представлено семейство переходных функций системы управления при изменении значения 11го параметра нейроконтроллера в диапазоне от -100% до 100%. Изменения в пределах 50% оказывают влияние в основном на статическую ошибку, большие же изменения нарушают также и динамические свойства системы, увеличивая колебательность. Семейство, представленное на рис.
П1.6, показывает, что изменение 17го параметра сказывается лишь на статической ошибке системы.
Рис. П1.6. Переходные функции системы управления при различных изменениях 17го параметра нейроконтроллера


Рис. П1.5. Переходные функции системы управления при различных изменениях 11го параметра нейроконтроллера


Помимо оценки изменений, вызванных варьированием значений настроечных параметров нейроконтроллера, большой интерес представляет анализ влияния на его работу аварий в виде обрыва межслойных связей, выходе из строя нейронов или обрыва обратных связей всей системы управления.
На рис. П1.7 представлен график изменения функционала качества работы системы управления при последовательном, в произвольном порядке, выходе из строя межслойных соединений (сигналы от поврежденных связей считаются нулевыми).
Благодаря тому, что информация передается и обрабатывается нейронами параллельно, при обрывах межслойных связей наблюдается не резкая утеря, а постепенная деградация работоспособности системы.


Распределение функций между отдельными нейронами скрытого слоя можно выяснить, сравнив переходные процессы в системе при их отключении (на выходе нейрона нулевой сигнал). Рис. П1.8 показывает, что
ключевая роль в данном нейроконтроллере принадлежит третьему нейрону скрытого слоя. При его аварии (рис.
П1.8в) сеть теряет способность различать входной сигнал управления u_r. (т. е. его амплитуду и полярность), и нейроконтроллер выдает постоянный сигнал. Четвертый и пятый скрытые нейроны определяют, прежде всего, динамические свойства нейроконтроллера , так как при их поломке (рис.
П1.8г,д) резко увеличивается колебательность системы. Роль первого и второго нейронов, очевидно, изза некоторой избыточности структуры нейроконтроллера менее значительна, и их выход из строя заметен только при определенных величинах входного сигнала u_r (рис. П1.8а,б).
Таким образом, отдельные нейроны в сети не только делят между собой процесс вычисления, но и выполняют различные функции.




Рис. П1.8. Переходные процессы в системе при подаче на вход сигнала задания м_г=1,0,1 с отключенными а) 1м, б) 2м, в) 3м, г) 4м, д) 5м нейронами скрытого слоя
Другой достаточно часто встречающейся аварийной ситуацией является обрыв обратных связей в системе управления. На рис. П1.9 представлены переходные процессы при различных вариантах аварий, при этом, как
и ранее, считается, что сигналы в поврежденных линиях нулевые. Как показывают эксперименты (рис. П1.9а), в случае обрыва обратной связи по выходному сигналу x_k система сохраняет динамические свойства объекта управления, но резко ухудшается ее статическая характеристика.
Обрыв обратной связи по задержанному выходному сигналу x_k-1 (рис. П1.9б) приводит к возникновению в системе устойчивого колебательного процесса с частотой, в три раза превышающей собственную частоту объекта управления. В случае аварии в обоих каналах обратной связи по x_k и x_k-1 (рис.
П1.9в) нейроконтроллер превращается в линейный усилитель с коэффициентом усиления 3,8.






Рис. П1.9. Переходные процессы в системе при подаче на вход сигнала задания u_r=-1,0,1 с оборванными обратными связями: а) по x_k; б) по x_k-1; в) одновременно по x_k и x_k-1
Таким образом, анализ эффективности работы нейроконтроллера при различных параметрических возмущениях доказывает возможность его аппаратной реализации и использования в реальных системах автоматического управления.

ЭМУЛЯТОР КОЛЕБАТЕЛЬНОГО ЗВЕНА БЕЗ ЗАТУХАНИЯ

Параметры динамического объекта T = 0,5, ^ = 0. Закон предсказания: х_к+1 = NE(~_k,~_к ,u_k ). Дискретность шага предсказания: А = 0,05 с. Количество нейронов в скрытом слое: 29.


Рис. П2.2 Схема обучения нейроэмулятора
Рис. П2.1 Структура нейроэмулятора на базе RBFсети NN3291






Рис. П2.3 Реакция динамического объекта (кривая 2) и его нейроэмулятора (кривая 3) на тестовые входные воздействия (кривая 1) в виде: а) единичного положительного скачка; гармонических сигналов частотой б) 0,32 Гц ив) 0,64 Гц.
Таблица П2.1
Параметры нейроэмулятора

Номер нейрона	Оі	Си	С2І	С3і	Wi
1	1,32940000	0,13241723	4,00264870	3,69552579	-0,0001097
2	7,48650000	0,87195910	-11,884959	-12,633569	-0,1450785
3	3,23520000	-0,6425613	-1,1307631	-1,0433907	-0,0004277
4	8,75700000	0,42751159	0,43238915	-0,3978190	-0,0077664
5	3,28400000	-0,2018089	16,20067093	15,56336087	0,03483315
6	48,38740000	0,45964651	-15,708139	-15,589026	-633,17019
7	50,00000000	-0,0679447	14,29644381	13,57155420	-1243,6867
8	14,57210000	0,30086970	-16,674901	-16,200671	0,30450690
9	14,13230000	0,32749103	5,53452296	5,10459268	-3,2338332
10	24,78510000	0,17489940	0,69095922	0,69371846	-68,952788
11	46,97030000	-0,1385397	3,44557024	3,41429828	-6199,9877
12	6,80240000	-0,5236824	9,73838706	9,86534335	0,01709318
13	31,47980000	-0,1656235	-4,2535344	-3,8596768	581,4529719
14	22,39070000	0,93144906	-7,9566017	-8,7541562	-44,303714
15	27,91250000	-0,0304202	-10,353410	-9,8316845	-101,06493
16	48,04540000	0,40019947	-3,5018439	-3,7229122	19822,83699
17	37,88120000	0,65216708	4,37062760	3,65904987	418,9776593
18	36,07320000	-0,9718113	4,04787287	5,60667437	1100,885665
19	49,90230000	-0,3274910	-5,5345229	-5,1045927	-485,76029
20	45,30890000	0,91712343	-0,6611883	-2,1625168	-6329,2657
21	7,09560000	-0,3530623	-2,4496238	-1,7834204	0,03537472
22	34,46060000	-0,3021165	-3,3874906	-2,6744797	1831,77891
23	48,43630000	0,19310298	-0,5359441	-0,4692599	-40511,918
24	44,38040000	-0,6143198	0,89066105	0,89738176	4872,731958
25	11,64010000	-0,0023824	11,68965487	11,10051653	-1,5858362
26	0,35210000	-0,7376198	3,31480182	3,50859631	-0,0004036
27	49,26700000	0,31347508	2,58143453	2,15959841	29301,96984
28	32,06610000	-0,9139232	-1,1400909	-0,5133197	-1674,9079
29	45,60210000	0,36572367	9,68191210	8,59445512	-662,99532

РЕЗУЛЬТАТЫ СИНТЕЗА И АНАЛИЗ ПАРАМЕТРИЧЕСКОЙ ЧУВСТВИТЕЛЬНОСТИ ЭМУЛЯТОРА КОЛЕБАТЕЛЬНОГО ЗВЕНА С ЗАТУХАНИЕМ

Параметры динамического объекта T = 0,5, q = 0,1. Закон предсказания: х_к+1 = NE(~_k,x_k-1,ы_к).
Шаг предсказания: А = 0,05 с.
Глубина предсказания: 20 с.
Количество нейронов в скрытом слое: 8.


Рис. П3.1 Структура нейроэмулятора на Рис. П3.2 Схема обучения нейроэмуля-базе RBFсети NN381 тора
Таблица П3.1.

Параметры нейроэмулятора

Номер нейрона ^І си С2І C3i Wi 1 87,59170000 0,99974055 1,09053782 1,09603289 -17227,406 2 94,91950000 0,43480822 0,58749893 0,37194684 47788,67779 3 77,43060000 0,54402968 2,90636127 2,58175994 912,5565002 4 100,0000000 -0,6062078 -0,3264445 -0,3396649 14624,26589 5 88,27570000 0,85952439 -1,7761579 -1,9766618 -3270,5978 6 53,20030000 -0,6581776 -2,5003728 -2,0844048 131,1890993 7 99,41380000 0,21871813 -1,5809023 -1,6124321 4349,455315 8 99,90230000 -0,2195961 -0,0883838 -0,0166504 -47309,744

Рис. ПЗ.З Реакция динамического объекта (кривая 2) и его нейроэмулятора (кривая 3) на тестовые входные воздействия (кривая 1) в виде а) единичного положительного скачка, гармонического сигала частотой б) 0,32 Гц ив) 0,64 Гц
Так как целевая функция, использовавшаяся генетическим алгоритмом при обучении эмулятора, включала помимо ошибки в воспроизведении тренировочных шаблонов штраф, пропорциональный количеству узлов в скрытом слое, то в первом приближении можно считать, что описываемая сеть обладает минимальной структурой.
Представленный ниже анализ влияния даже чрезвычайно малых искажений оптимального вектора настроек выявил очень высокую параметрическую чувствительность данного решения. Чем ее можно объяснить, пока не ясно. Мы думаем, три фактора могли сыграть в этом деле существенную роль. Вопервых, возможно, не стоило стремиться к минимизации количества скрытых нейронов. Вовторых, отсутствие в процессе синтеза сети контроля за соотношением расстояний между центрами и шириной окон активационных функций. Наконец, в третьих, применение специфического локального ускорителя ГА, использующего процедуру обращения матрицы. Как бы ни было, это, безусловно, проблема, без решения которой говорить об аппаратной реализации эмулятора не приходится.
А) Изменение ширины окна активационной функции.
Реакции эмулятора на ступенчатое возбуждение, соответствующие различным искажениям параметра о₄, демонстрирует рис. П3.4. Кривая 3 соответствует изменению параметра на 0,01% от оптимальной величины; при этом e=3,84- 10-2. Кривая 4 соответствует изменению параметра на 0,1%; при этом e=8,67- 10-1. Кривая 5 соответствует изменению параметра на 0,2%; при этом e=1,22- 104. Зависимость среднеквадратичной ошибки от изменения параметра о₄ приведена на рис. П3.5.


Рис. П3.4. Влияние искажения оптимальной настройки ширины окна активационной функции на способность нейросети эмулировать тестовый динамический объект. Кривая 1 входной ступенчатый сигнал; 2 эталонная реакция объекта^ выход сети при g₄=99,99; 4 выход сети при g₄=99,90; 5 выход сети
при g₄=99,80
.

В) Изменение координаты центра активационной функции c₃,₈.
Работа эмулятора демонстрируется на рис. П3.6. Кривая 3 соответствует отклонению параметра на 0,1% от оптимального значения; при этом e=4,61- 10-1. Кривая 4 соответствует отклонению параметра на 1%; при этом e=1,87. Кривая 5 соответствует отклонению параметра на 4%; при этом e=12,5. Зависимость среднеквадратичной ошибки от изменения параметра c₃,₈ приведена на рис. П3.7.


Рис. П3.6. Влияние искажения оптимальной настройки координаты центра активационной функции на способность нейросети эмулировать тестовый динамический объект. Кривая 1 входной ступенчатый сигнал; 2 эталонная реакция объекта; 3 выход сети при c₃,₈=-0,01702; 4 выход сети при c₃,₈=-0,0172;
5 выход сети при c₃,₈=-0,0174.


С) Изменение синаптического веса выходного нейрона.
Работа эмулятора демонстрируется на рис. П3.8. Кривая 3 соответствует изменению наибольшего по модулю параметра w₂ на 10-5%; при этом e=1,94- 10-1. Кривая 4 соответствует изменению параметра w₂ на 10-4%; при этом e=16,71. Кривая 5 соответствует изменению наименьшего по модулю параметра w₆ на 0,007%; при этом e=1,54. Кривая 6 соответствует
изменению параметра w₆ на 0,1%; при этом e=80,15. Зависимость среднеквадратичной ошибки от изменения параметра w₂ приведена на рис. П3.9.


Рис. П3.8. Влияние искажения оптимальной настройки синаптического веса выходного нейрона на способность нейросети эмулировать тестовый динамический объект. Кривая 1 входной ступенчатый сигнал; 2 эталонная реакция объекта; 3 выход сети при w₂=47788,673; 4 выход сети при w₂=47788,637; 5 выход сети при w₆=131,180; 6 выход сети при w₆=131,280.

Изменение параметра сети, %

Рис.
П3.9. Зависимость среднеквадратичной ошибки от изменения параметра w₂

ЭМУЛЯТОР КОЛЕБАТЕЛЬНОГО ЗВЕНА С СИЛЬНЫМ ЗАТУXАНИЕМ

Параметры динамического объекта: T = 0,5, q = 0,5. Закон предсказания: х_к+1 = NE(~_k,~_k__г,u_k)
Шаг предсказания: А = 0,05 с.
Глубина предсказания: 20 с.
Количество нейронов в скрытом слое: 10.


Рис. П4.1 Структура нейроэмулятора на Рис- П4-2 Схема [учения нейроэмуля-базе RBF-сети NN3-10-1 тора
Таблица П4.1

Параметры нейроэмулятора

Номер нейрона ^і си С2І С3і Wi 1 99,70690000 0,72284891 1,01750381 1,01039823 -106163,87 2 96,48270000 0,40865195 0,41362282 0,41407195 10388,48445 3 100,0000000 -0,5647115 -0,3332744 -0,3094531 63732,71896 4 5,52140000 -0,7225222 -0,6242014 -0,6140152 0,27695870 5 25,06190000 -0,7191648 -1,1053778 -1,1107858 -130,64725 6 33,56210000 -0,5864175 -1,0888907 -1,1048114 235,1114704 7 100,0000000 0,57451998 0,71946869 0,64836559 156186,9946 8 99,90230000 -0,7685449 -0,1323748 -0,0691282 -78653,683 9 0,05000000 -0,6010585 -0,6974816 -0,6241169 0,00000881 10 100,0000000 0,91759329 -0,2635411 -0,2578979 -45608,521

a) б)

Рис. П4.3 Реакция динамического объекта (кривая 2) и его нейроэмулятора (кривая 3) на тестовые входные воздействия (кривая 1) в виде а) единичного положительного скачка, гармонического сигала частотой б) 0,32 Гц ив) 0,64 Гц

ВИРТУАЛЬНЫЙ ТРАКТ УПРАВЛЕНИЯ НА БАЗЕ НЕЙРОЭМУЛЯТОРА

Параметры нейроэмулятора представлены в Приложении 3. Дискретность управления А₁ = 0,1 с, шаг предсказания А ₂ = 0,05 с. Закон управления: u_k+1 = NC(~_k, ~_k_₁, u_rk ).
Ё wixi + w0
Активационная функция скрытых нейронов y = th Количество нейронов в скрытом слое: 10.
i=1




Рис. П5.2 Структура нейроконтроллера на базе многослойного перцептрона NN 3-10-1
Рис. П5.1 Схема виртуального тракта интеллектуальной САУ
Таблица П5.1
Смещение и синаптические веса скрытых нейронов нейроконтроллера

Номер нейрона	W0	W1	W2	W3
1	-7,6329	-1,9880	-6,4170	9,1198
2	8,6352	0,3241	4,7970	-0,0922
3	-6,2498	0,2765	-5,2377	-6,5257
4	8,8451	-9,4409	1,1298	3,8790
5	-9,9036	-5,4502	-4,6493	-6,2840
6	-8,9538	-1,9490	1,0395	-7,4608
7	6,5257	-7,2655	4,3478	-8,6364
8	-0,0043	-5,0082	9,1430	-4,7250
9	-2,2005	2,4641	-1,5144	-2,5056
10	0,0153	-2,4995	-1,5608	6,2376

Таблица П5.2
Смещение и синаптические веса выходного нейрона нейроконтроллера

Wo	0,4547	W6	0,3801
Wi	-0,4762	W7	-0,3780
W2	0,2257	W8	-0,5626
W3	-0,2251	W9	-0,1820
W4	-0,4920	Wi0	0,2511
w5	0,3427

Рис. П5.3 и П5.4 демонстрируют работу нейроконтроллера в составе, соответственно, виртуального и прямого трактов управления интеллектуальной САУ.
Как видно, нейроконтроллер вполне успешно справляется как с нейроэмулятором, с помощью которого он был синтезирован, так и с самим динамическим объектом.


Рис. П5.3.
Выход нейроконтроллера (кривая 1) и реакция нейроэмулятора (кривая 2) на входные задания САУ u_r-=-0,5;0;0,5.
Рис. П5.4.
Работа прямого тракта управления САУ при входных заданиях u_r= =-0,5;0;0,5. Кривая 1 выход нейроконтроллера, кривая 2 выход тестового динамического объекта.

ГЕНЕТИЧЕСКИЕ АЛГОРИТМЫ И ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ В ИНТЕРНЕТЕ

Спектр предлагаемых Интернетом услуг настолько широк, что он в состоянии изменить весь стиль научной жизни и творчества. Интернет предоставляет уникальные каналы для получения свежайшей информации по любому интересующему вас вопросу, предлагает реальные средства приобщиться к жизни мирового научного сообщества, не покидая пределов родного города.
Впрочем, агитировать за Интернет вряд ли еще актуально, мы надеемся, что у вас есть к нему доступ, и хотели бы просто дать краткий список полезных адресов, связанных с деятельностью ГА+ИНС сообщества.
Крупнейшим хранилищем информации в области эволюционного моделирования является ENCORE (The EvolutioNary Computation REpository network) специализированная сеть, объединяющая FTP-серверы ведущих научно-исследовательских организаций и высших учебных заведений, известных своими достижениями в области ГА и ИНС. Одновременно ENCORE выступает дистрибьютором научных материалов тех учреждений, которые не имеют собственных FTP-серверов. Все узлы сети ENCORE содержат одну и ту же информацию, доступную по протоколу FTP и WWW.
В следующей таблицеце приведены адреса некоторых из WWW-узлов.
Таблица П6.1

WWW-узлы сети ENCORE

EUNET, Германия Университет Гранада, Испания oke/encore/ Институт Санта Фе, США Университет Альберты, Канада Китайский университет Гонконга, Китай

Другие серверы предлагают доступ только по протоколу FTP (более доступному на сегодняшний день).
Таблица П6.2

FTP-серверы сети ENCORE

ftp ://ftp.egr.msu.edu:/ pub/EC/W elcome.html Университет Штата Мичиган, Ист Лансинг, США ftp://alife.santafe.edu:/pub/USERAREA/EC/Welcome .html Институт Санта Фе, США ftp ://ftp.krl.caltech.edu:/pub/EC/W elcome. html Калифорнийский институт Технологий, США ftp ://ftp .cs.wayne .edu:/ pub/EC/W elcome.html Университет Уэйна, Детройт, США ftp://ftp-bionik.fb10.tu-berlin.de:/pub/EC/Wel come.html Технический университет Берлина, Г ермания .polytechni que.fr:/ pub/eark/EC/W elcome. html Политехническая школа Пале- зо, Франция ftp://ftp.dcs.warwick.ac.uk:/pub/mirrors/EC/Welcome. html Университет Уорвик, Великобритания ftp://ftp.uct.ac.za:/pub/mirrors/EC/Welcome.html Университет Кейптауна, ЮАР ftp :// elcome. html Центр технического образования в Паране, Бразилия

Примечательно, что в Америке помимо издающихся в привычном виде журналов (таких специализированных журналов два - Evolutionary Computation е IEEE Transactions on Evolutionary Computation), выходит электронный журнал The Genetic Algorithm Digest. Номер объемом 4-5 страниц выходит почти еженедельно (60 раз в год), содержит дневник конференций и вообще играет роль постоянно действующего круглого стола, объединяющего почти 2000 поклонников ГА со всего мира.

Становление и развитие ИНС

Когда потенциал действия достигает окончания аксона, молекулы медиатора выходят из внутриклеточных маленьких пузырьков, где они хранятся, в синаптическую щель пространство шириной 20 нм между мембранами пресинаптической и постсинаптической клеток. Когда возбуждение достигает пика, начинается координированное выделение молекул нейромедиатора.
Высвободившиеся молекулы нейромедиатора связываются с рецепторами в постсинаптической мембране, что изменяет ее проницаемость. Эффект будет возбуждающим, если изменение заряда приближает мембранный потенциал к порогу генерирования импульса.
Если же мембрана стабилизируется на уровне потенциала покоя, эффект будет тормозным.
Каждый синапс дает лишь незначительный эффект на активность аксона нейрона. Чтобы установилась интенсивность выхода, каждый нейрон должен непрерывно интегрировать до 1000 синаптических входов.
Еще в начале века нейрофизиологам стала ясна исключительно важная роль синапсов в обучении. Сигналы мозга, проходя через них, могут в разной степени усиливаться или ослабляться. Обращает на себя внимание и такой факт.
Мозг новорожденного и мозг взрослого человека содержат примерно одинаковое количество нейронов. Но только мозг взрослого человека отличается упорядоченностью межнейронных синаптических связей.
По-видимому, обучение мозга и есть процесс изменения архитектуры нейронной сети, сопровождаемый настройкой синапсов.

Становление и развитие ИНС

Наиболее емким представляется следующее определение ИНС как адаптивной машины, данное в [6]:
Искусственная нейронная сеть это существенно параллельно распределенный процессор, который обладает способностью к соxраненuю и репрезентацuu опытного знания. Она сходна с мозгом в двух аспектах:
1. Знание приобретается сетью в процессе обучения;
2. Для сохранения знания используются силы межнейронных соединений, называемые также синаптическими весами.
История ИНС начинается в 1943, когда Маккаллок и Питтс предложили модель порогового логического нейрона и показали, что любая функция, которая может быть вычислена на электронно-вычислительной машине, может быть также вычислена сетью нейронов [7]. Сигналы x_t, поступающие на вход нейрона, умножаются на весовые коэффициенты w_i (синаптические веса). Далее они суммируются, и результирующий сигнал, сдвинутый на величину смещения w₀
П
S = Х wixi + щ, (2)
i=1
подается на вход блока, реализующего активационную функцию нейрона.

Рис. 8. Модель нейрона

Традиционно активационная функция имеет ступенчатый вид, то есть сигнал на выходе нейрона у появляется лишь тогда, когда суммарное входное воздействие превышает некоторое критическое значение.






а, если s а s, если -asa -а, если s-a Рис. 9. Типы активационных функций нейронов
Хебб [8], изучая клеточные механизмы деятельности мозга, сформулировал правило обучения, которое увеличивает силу связи между пре- и постсинаптическим нейронами, если активность обоих совпадает во времени.
Другая концепция обучения в рамках более развитой архитектуры сети, названной перцептроном, была предложена и успешно применена для моделирования работы зрительного тракта Розенблаттом [9].
В своей самой простой версии многослойный перцептрон (см. рис. 10) представляет собой сеть с одним входным, одним выходным и одним или более внутренними или, как говорят, скрытыми слоями нейронов.
Общей чертой для всех многослойных перцептронов является прямонаправлен-ность сети, характеризующаяся передачей информации от входного слоя через K скрытых слоев к выходному слою. В стандартной топологии, узел
i в слое k, (k=1,...,K+1) соединяется посредством весов wj^ со всеми j узлами предыдущего слоя k1. Здесь k=0 и k=K+1 обозначают, соответственно, входной и выходной слои.


Модифицированные версии могут иметь прямые связи между несмежными слоями, связи в пределах одного слоя, хаотичные связи между слоями вместо регулярных.
Входной слой перцептрона служит лишь для приема и ретрансляции входных сигналов на нейроны скрытого слоя. В скрытых слоях происходит основное нелинейное преобразование информации, а выходной слой осуществляет суперпозицию взвешенных сигналов последнего из скрытых слоев. В качестве нелинейности узлы скрытого слоя используют дифференцируемые сигмоидальные функции
(3)
f (s )=
Под обучением перцептрона понимают целенаправленный процесс изменения значений весов межслойных синаптических связей, итеративно повторяемый до тех пор, пока сеть не приобретет необходимые свойства. В основе обучения лежит использование тренировочных данных, объединенных в шаблоны (см. рис.
11).


Рис. 11. Контролируемое обучение ИНС
Каждый шаблон (X,D) включает в себя вектор известных входных сигналов сети X = (X₁,X₂,...,X_V) и соответствующий ему вектор желаемых выходных сигналов D=(D_1rD₂,---,D_Z). В процессе обучения на вход ИНС последовательно подаются данные из тренировочного набора шаблонов Н= {X,D ,q = 1,Qj, после чего вычисляется ошибка между фактическим Y = (Y₁,Y₂,...,Y_z) и желаемым выходами сети
(4)
Здесь под нормой У обычно понимают евклидово расстояние между векторами Y и D.
Далее, с помощью определенного правила или алгоритма происходит такая модификация настроечных параметров сети, чтобы эта ошибка уменьшалась. Процесс повторяется до достижения сетью способности выполнять желаемый тип преобразования вход-выход, заданного в неявном виде тренировочным набором шаблонов Н.
Благодаря обучению сеть приобретает способность правильно реагировать не только на шаблоны, предъявленные в процессе тренировки, но также хорошо справляться с другими наборами данных из допустимого пространства входов, которые она никогда не видела ранее. В этом смысле говорят, что ИНС обладает свойством обобщения (generalization).
Ошибка в обобщении, всегда имеющая место на выходе сети, имеет две составляющие. Первая из них обусловлена недостаточным качеством аппроксимации, выполняемой сетью конечных размеров.
Вторая вызвана неполнотой информации, предъявленной сети в процессе обучения, из-за ограниченного объема обучающей выборки.
У Розенблатта сила межслойных синаптических связей изменялась в зависимости от того, насколько точно выход перцептрона совпадал с выходным шаблоном, в соответствии со следующим правилом обучения. Веса связей увеличиваются, если выходной сигнал, сформированный принимающим нейроном, слишком слаб, и уменьшаются, если он слишком высокий.
Однако, это простое правило минимизации ошибки применимо только к прямонаправленным сетям без скрытых слоев.
Несколько позже Минский и Пейперт выполнили глубокий анализ вычислительной мощности однослойного перцептрона.
Эффект их совместной книги Персептроны [10], предназначенной внести конструктивный вклад в теорию нейронных сетей, был для многих обескураживающим и привел к утрате интереса к нейронным сетям. Казалось, что если сети не могут реализовать даже XOR-функцию (логическая функция исключающее ИЛИ, получившая с легкой руки авторов [10] статус теста при исследовании сравнительной эффективности тренировоч-

Алгоритм обратного распространения ошибки

- Шаг 1. Инициализация весов и смещений.
Веса w() и смещения w,(0) во всех слоях задаются случайным образом как маленькие величины, например, в интервале от -1 до +1.
- Шаг 2. Представление нового входного вектора X и соответствующего желаемого выходного вектора D.
- Шаг 3. Прямой проход: расчет фактического выхода. Шаг 4. Обратный проход: адаптация весов и порогов. Использование рекурсивного алгоритма, начинающегося на выходных узлах и возвращающегося к первому скрытому слою:

, K+1)
Для к=К+1 член 5(к , описывающий ошибку, известен:
S(K+0 = (A - Y, Y (1 - Y,) и его можно рекурсивно посчитать для всех других случаев:
5(к) = Yf )(1 - Y_li ))!5^к+x)wj_i +1)(к = 1,..., K ). J
Отметим, что член Y/к)(1 - Y^к)) является производной сигмоидальной функции относительно ее аргумента. Если используется другая пороговая функция, этот член необходимо изменить.
Обучающий параметр п обычно выбирается в интервале от 0 до +1.
ных процедур), их вычислительные способности слишком ограничены. Выход из этого положения добавление скрытых слоев с нелинейными нейронами был известен и тогда, однако не было ясности, как настроить веса у такой сети.
Настоящий прогресс был достигнут лишь после того, как Румельхарт, Хинтон и Вильямс в 1986 последовательно переоткрыли Алгоритм Обратного Распространения ошибки (АОР) [11, 12], впервые описанный Вербо-сом в 1974 году [13].
Уместно также вспомнить работы новосибирских ученых [14,15], независимо и одновременно с Румельхартом предложивших очень близкий к АОР Алгоритм Двойственного Функционирования для обучения нейронной сети.Хотя АОР рассеял пессимизм о возможности обучения многослойных сетей, он, тем не менее, не стал инструментом, который позволил бы решить коренной вопрос синтеза нейронных сетей глобальную оптимизацию структуры и параметров сети. Инициализация начальных параметров сети осуществляется здесь случайным образом, а сам АОР, известный в статистике как метод стохастической аппроксимации, является по своей сути не более чем локальным методом и в силу этого не гарантирует окончания процесса обучения в точке глобального экстремума.
Вместе с тем, не вызывает сомнений, что ошибка (4), используемая для оценки качества ИНС, является многоэкстремальной функцией параметров сети, поэтому для поиска ее минимума требуется, соответственно, глобальный метод.
Тем не менее, с появлением АОР интерес к нейронным сетям снова возродился. Нельзя игнорировать и тот факт, что к концу 80-х годов общая ситуация в мире науки существенно изменилась по сравнению с 60-тыми прогресс в разработке персональных компьютеров существенно раздвинул границы численного экспериментирования, началась эра численных методов моделирования.
Искусственные нейронные сети становятся массовым увлечением и через своих поклонников проникают в самые разные научные дисциплины.
Последние 10 лет ознаменовались двумя событиями, имеющими отношение к теме нашего исследования. Первое из них появление RBF-сетей, поддающихся очень простой, не содержащей рекурсии, настройке [16].
Второе применение ГА для тренировки сети произвольной архитектуры, содержащей любые комбинации активационных функций нейронов скрытого слоя [17].
Большое внимание уделялось также доказательству универсальности нейронных сетей для решения задач аппроксимации произвольной функции с любой степенью точности. В [1819] это сделано для сетей перцеп-тронного типа с сигмоидальными активационными функциями, в [20] для RBF-сетей.
Рассмотрим процедуру тренировки RBF-сети (см. Рис.12), осуществляющей аппроксимацию Функтщи, заданной в неявном виде набором шаблонов, как она описана в [16].
Пусть V количество входов сети, H количество нейронов скрытого слоя, Z количество выходов сети.
Предположим, что размер Q набора тренировочных шаблонов Е не слишком велик и что шаблоны размещены достаточно разреженно в пространстве входных сигналов сетиX=(X\,X₂, XV).


Рис. 12. Классическая RBF-сеть

Сетъ характеризуется тремя особенностями: 1) единственный скрытый слой; 2) толъко нейроны скрытого слоя имеют нелинейную активационную функцию; 3) синаптические веса всех нейронов скрытого слоя равны единице.
Введем следующие обозначения:
c = (c₁, c₂,..., c_V ) вектор координат центра активационной функции нейрона скрытого слоя;
оj ширина окна активационной функции j-го нейрона скрытого слоя;
-Ipj -Cj }jо2
-IIx-с||2 о2
f (X, c ) = _e онная функция нейрона скрытого слоя;
радиально-симметричная активаци-
w_i}- вес связи между і-м нейроном выходного слоя и j-м нейроном скрытого слоя.
Синтез и обучение сети включает в себя три этапа, объединенные следующим алгоритмом.

Алгоритм синтеза RBF-сети

1. Выберем размер скрытого слоя H равным количеству тренировочных шаблонов Q. Cинаптические веса нейронов скрытого слоя примем равными 1.
2. Разместим центры активационных функций нейронов срытого слоя в точках пространства входных сигналов сети, которые входят в набор тренировочныіх шаблонов Е: cj = X j, j = 1,H.
3. Выберем ширины окон активационных функций нейронов срытого слоя о j, j = 1, H достаточно большими, но так, чтобы они не накла
дывались друг на друга в пространстве входных сигналов сети.
4. Определим веса нейронов выходного слоя сети w_iJ-, i=1, Zj = 1, H.
Для этого предъявим сети весь набор тренировочных шаблонов. Выход i-го нейрона выходного слоя для p-го шаблона будет равен:
Yi = wnf (X _р, c1)+ wi2f(X pc 2 )+... + wmf(X p,c H )=
= w_nf (Xp,X )+ w_f2 f (Xp,X2 )+... + w_mf (Xp,XH )= Di. Расписав это уравнение для всех выходов сети и всех шаблонов, получим следующее уравнение в матричной форме:
Ф1^ = D, (6)
f1H ^ f2 H
fHH
интерполяционная матрица,
матрица выходных синаптических весов;
матрица выходных шаблонов.
wT =Ф^
(7)
даст нам искомые значения выходных синаптических весов, обеспечивающие прохождение интерполяционной поверхности через тренировочные шаблоны в пространстве выходных сигналов сети.
Ошибка аппроксимации в точках входного пространства, не совпадающих с центрами активационных функций, зависит от того, насколько удачно выбраны ширины окон, и адекватно ли количество тренировочных шаблонов сложности функционального преобразования.
К сожалению, процедура настройки синаптических весов является далеко не единственной и не последней проблемой, встречающейся при обучении сети. Куда как более сложным вопросом остается формирование набора тренировочных шаблонов, адекватно описывающего рассматриваемое функциональное преобразование.
К этой проблеме мы еще вернемся в следующих разделах.

ГА+ИНС = НОВАЯ ПАРАДИГМА В УПРАВЛЕНИИ

Классические методы синтеза систем управления базируются на хорошо развитом аппарате интегро-дифференциального исчисления, созданном Ньютоном около трехсот лет назад. Нейронные сети представляют собой альтернативное, существующее всего несколько лет, направление в теории автоматического управления, предлагающее иной способ отражения и преобразования действительности, в котором можно обнаружить и сходные, и различные черты с классической парадигмой.
Проникновение дифференциальных уравнений в теорию автоматического регулирования связывают с именами Д. К. Максвелла (18311879) и И. А. Вышнеградского (18311895) [21]. Дело в том, что с момента построения Д. Уаттом паровой машины с центробежным регулятором скорости вращения (1784) и до середины второй половины прошлого века какая-либо теория регулирования просто отсутствовала. Однако, с ростом мощности паровых машин участились аварии, вызванные плохим качеством регулирования.
И вот Максвелл и Вышнеградский почти одновременно и независимо друг от друга взялись за теоретический анализ этой системы. Оба использовали теорию малых колебаний, берущую начало от Ж. Л. Лагранжа.
Записав уравнения Лагранжа для паровой машины и выразив в них фазовые переменные через возмущения относительно некоторых равновесных значений, Максвелл и Вышнеградский линеаризовали уравнения относительно возмущений и исследовали условия устойчивости состояния равновесия.
Так начался первый этап в развитии теории автоматического управления, этап расцвета классических методов анализа. Продолжался он довольно долго до 40-х годов нашего века, но в содержательном отношении не отличался большим разнообразием подходов.
Исследование устойчивости, а также качества переходных процессов продолжали оставаться основными задачами всего этого периода.
Термин нейроуправление впервые появился в работах Вербоса уже в 1976 году, однако решающую роль во внедрении ИНС в сферу управлен-
ческих задач сыграли работы Нарендры с соавторами (1989), в частности, Итак, в системах управления ИНС могут применяться в виде:
- нейроконтроллеров;
- нейроэмуляторов, имитирующих динамическое поведение объекта управления в целом или описывающих его отдельные характеристики, трудно поддающиеся математическому моделированию (например, фрикционные эффекты и т. п.).
Первое, что мы попытались сделать самостоятельно, был синтез нейроконтроллера на базе трехслойной прямонаправленной сети [23].
В качестве объекта управления мы выбрали инерционное колебательное звено второго порядка с передаточной функцией вида
(8)
T 2 я2 + 2Tqs + Г
а в качестве цели управления подавление колебательности объекта при ступенчатом входном воздействии (значения постоянных коэффициентов к=1; Т= 0,5; q=0,1 в уравнении (8) были подобраны так, чтобы колебательные свойства у объекта были выражены достаточно отчетливо - см. рис. 13).




Рис. 13. Переходная характеристика (а) и АЧХ (б) тестового динамического объекта управления
Опасаясь чрезмерного радикализма на начальном этапе исследований (в смысле отказа от традиционных схемотехнических решений ПИД-регуляторов), мы подали на вход нейроконтроллера сигнал ошибки, а также его производную и интеграл, надеясь, что сеть найдет некие нелинейные коэффициенты для них как для слагаемых.
Структура нейроконтроллера: три ретранслирующих узла во входном слое, четыре скрытых узла с сигмоидальными активационными функциями и один выходной. На входные нейроны подается разность между входным воздействием u_r и выходом объекта х_х, ее интеграл и производная, а на выходе сети формируется управляющее воздействие и.
В качестве процедуры для тренировки сети мы использовали ГА. Алгоритм обратного распространения ошибки также подошел бы для этой цели, но он требует информации об ошибке на эффекторном слое ИНС.
Для получения такой информации в схеме обучения необходимо предусмотреть обращенный нейроэмулятор объекта, роль которого сводится к преобразованию ошибки на выходе объекта в выходной сигнал на выходе нейроконтроллера, что существенно усложняет процедуру тренировки.


Рис. 15. Применение ГА для настройки параметров нейроконтроллера

Генетический же алгоритм настраивает параметры нейроконтроллера не по ошибке в управлении и, а по ошибке в выходе объекта, сравнивая его с выходом эталонной модели. Последняя воплощает в себе наши представления о желаемом поведении объекта, то есть играет приблизительно ту же роль, что и библиотека тренировочных шаблонов в процедуре тренировки.
Исходная популяция из 100 хромосом генерировалась случайным образом. Каждый из 21 настроечных параметров сети кодировался десятью битами, таким образом, хромосома, кодирующая нейроконтроллер в целом, представляла собой 210-разрядную последовательность нолей и единиц.
При том, что диапазон изменения каждого из параметров в пространстве т1 был принят от -1 до 1, десятиразрядное кодирование обеспечивало дискретность изменения параметра не хуже 0,002.
После декодирования хромосом в вектора переменных оценивалась способность каждого варианта сети следовать эталонной модели. Проверка осуществлялась путем последовательной подачи на управляющий вход нейроконтроллера единичного положительного, нулевого и единичного отрицательного входного воздействия и вычисления среднеквадратичной ошибки выходной координаты объекта на временном интервале до 10 секунд. Предварительно передаточная функция объекта управления преобразовывалась в систему обыкновенных дифференциальных уравнений в форме Коши
[ x = x₂;
\ (9)
[x₂ = (- 2Tgx₂ - x₁ + kU)/4?.
Интегрирование системы осуществлялось с постоянным шагом, равным 0,01 сек. Суммарная ошибка по всем трем переходным процессам принималась в качестве меры неудачности конструкции и использовалась далее в качестве количественного индекса для ранжирования особей в популяции.
Кривые переходных процессов для лучшего варианта из популяции на различных этапах поиска представлены на рис. 16.


Рис. 16.
Лучшие из демонстрируемых популяцией нейроконтроллеров переходные процессы на выходе объекта управления в различные моменты работы ГА (задание единичная ступенька): кривая 1 начальная популяция, 2 после 2000 поколений, 3 после 4000 поколений, 4 после 5000 поколений.
Как видно из этого рисунка, по мере работы алгоритма решения непрерывно улучшаются. Вектор переменных, найденный к 5000 поколению, обеспечивает вполне удовлетворительное решение поставленной задачи.
Рис. 17 иллюстрирует поведение объекта не только на тренировочных шаблонах, но и при промежуточных значениях амплитуды входного зада-

ния, которое подтверждает универсальность аппроксимирующих свойств нейронных сетей.


Рис. 17. Переходные процессы в САУ с обученным нейроконтроллером при амплитудах входного задания -1, -0,5; 0; 0,5; 1 (снизу вверх)

Воодушевившись достигнутым результатом, мы усложнили задачу. На вход контроллера стали подавать не сигнал ошибки, его производную и интеграл, а просто выходную координату объекта на текущем и предыдущем шагах (единожды и дважды задержанный сигналы - см. рис.
18).


Рис. 18. Новая схема организации обратных связей по [22]

Подверглась изменениям и эталонная модель, которую сформировали теперь как требование к АЧХ канала управления [24]. В то время как сам объект обладает АЧХ с отчетливо выраженным резонансным пиком при частоте 0,32 Гц, нейроконтроллер должен научиться, с одной стороны, ограничивать резонансные колебания объекта, а с другой стороны, усиливать амплитуду вынужденных колебаний в пре- и пострезонансной областях, не внося при этом сдвиг фаз между выходными и входными колебаниями, а также подавлять колебания объекта при частотах, превышающих частоту среза желаемой АЧХ (кривая 2 на рис.
19).
На этот раз для контроллера опять была выбрана трехслойная сеть 3-10-1, т. е. с количеством нейронов в скрытом слое равным 10. Для определения пригодности сети на ее вход подавался фиксированный спектр гармонических колебаний различной амплитуды (в диапазоне 0,1-1) с частотами 0,16; 0,48; 0,80; 1,11 и 1,59 Гц.
Интегральная ошибка по всем тестовым переходным процессам, продолжительность которых, как и ранее, составляла 10 секунд, принималась в качестве меры успешности управления.
Результаты синтеза оказались удачными. Контроллер, параметры которого представлены в Приложении 1, справлялся с возложенными на него задачами.
Фактическая АЧХ нейросетевой системы управления представлена на рис. 19. Она построена уже на непрерывном спектре частот, включающем частоты тренировочных сигналов.
По-видимому, из-за недостаточного размера скрытого слоя сети, синтезированная АЧХ на участке 0,61 Гц значительно отличается от эталонной. Однако в общем, полученные результаты свидетельствует, что способность сети к обобщению может использоваться и при синтезе нейроконтроллера в частотной области.


Рис. 19. Синтезированная (кривая 1) и желаемая (кривая 2)
АЧХ системы управления

Представленные примеры убедительно доказывают способность комбинации двух новых вычислительных технологий Генетических Алгоритмов и Искусственных Нейронных Сетей самостоятельно решать задачу управления динамическим объектом в рамках эволюционной парадигмы. Конечно, нам могут возразить, сославшись на трудности экспериментирования непосредственно с объектом при настройке синаптических весов нейроконтроллера, что вряд ли мы сможем обойтись без математической модели объекта, а значит, и без заимствования достижений ньютоновской парадигмы.

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ И ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

Мы привыкли к тому, что какой-нибудь проект описывается одной единственной точкой из пространства переменных, которой однозначно соответствует опять-таки одна точка из пространства критериев. Этот примитивный уровень сложности представлений соответствует способу хранения генетической информации у гаплоидных организмов. У диплоидных организмов все значительнее интереснее особь определена как бы на двух точках одновременно (отцовская и материнская хромосомы), хотя этой паре соответствует по-прежнему одна точка из пространства фенотипов. В процессе выработки своей половой клетки такая двухточечная особь генерирует третью точку, которая содержит в себе частичную информацию об обеих родительских хромосомах.
Но эта дочерняя точка еще не приобретает статус особи. Особь возникает только тогда, когда мы свяжем эту точку с другой такой же дочерней точкой и вычислим присущий этой паре фенотип, приняв во внимание состояние активности гомологичных генов в обеих хромосомах и разрешив конфликт между ними в случае необходимости.
Какие же эволюционные преимущества дает диплоидность ? Наверное, таких преимуществ несколько, но мы остановимся только на одном, особенно важном для нас. Просто для гаплоидных популяций фенотипическое вырождение особей почти неизбежно означает и генотипическое вырождение (хотя с малой вероятностью, крайне редко встречающейся в практике моделирования, можно предположить, что одному оптимальному фенотипу могут соответствовать разные генотипы).
В то же время, для диплоидных особей это правило не является обязательным, то есть фенотипическое вырождение популяции, естественно наблюдающееся в состоянии адаптации, отнюдь не свидетельствует об утрате ею генетического разнообразия.
Это явление было понято еще в 20-х годах и описано С. С. Четвериковым, предложившим концепцию генетического груза, отягощающего популяцию информацией, хранящейся в рецессивных генах [28]. Часто диплоидную популяцию сравнивают с айсбергом, только верхушка которого, ассоциируемая с генами, проявившимися в фенотипе, видна над водой. Большая же часть айсберга скрыта от нашего взора.
Но достаточно ситуации измениться, как вид айсберга изменится: он повернется другим боком, но не утонет.
Трудно утверждать, что представленная ниже версия эволюции диплоидной популяции точно следует биологическим теориям, но с ее помощью мы добились в основных чертах того, чего хотели [29,30].
Для начала мы ввели четырехбуквенный алфавит {RrDd}, в котором R и r обозначают рецессивную 1 и рецессивный 0, а D и d доминантную 1 и доминантный 0. Одновременно мы сформулировали правила полного доминирования при определении экспрессии генов вновь образованной особи, представленные на рис. 25 в виде таблицы разрешения конфликтов.
Как обычно, из пары гомологичных генов в фенотипе проявляется тот, что обладает более сильным признаком активности. Ген с признаком активности доминантный (D или d), какому бы родителю он ранее ни принадлежал, подавляет любой ген с признаком рецессивный (R или г), то есть именно его содержательный признак (1 или 0) принимается во внимание в процессе декодирования диплоидного генотипа особи сначала в би- Рис. 25. Таблица разрешения конфликтов признаков в паре гомологичных генов

Гены более приспособленной особи

D d R г D 1 0 1 1 d 1 0 0 0 R 1 0 1 1 г 1 0 0 0

Входами в таблицу являются одна из ячеек левого столбца и одна из ячеек верхней строки, а выходом - значение ячейки, стоящей на пересечении строки, к которой принадлежит первая из упоминавшихся ячеек, и столбца, к которому принадлежит вторая
нарную строку, а затем через код Грея (см. таблицу 1) в вектор переменных. Однако, возможна ситуация, когда оба гена имеют одинаковый признак активности, но несут разную информацию. Имеются в виду пары гомологов D-d и R-г (закрашенные ячейки). В этом случае мы изменяем признак активности одного из них с тем, чтобы избежать неоднозначности при определении фенотипа особи (существует даже соответствующая теория эпигенетических триггеров Жакоба и Мано, описывающая этот механизм доминирования).
Использованное нами правило разрешения конфликта признаков несколько отличается от того, что предложил Хольштайн в 1971 [31] или Вонг в 1995 [32]. В отличие от них мы принимали во внимание степень относительной приспособленности родителей, чьи гаметы достались рассматриваемой особи, и в паре активных гомологов сохраняли активным ген более приспособленного родителя, а в паре пассивных оставляли пассивным ген менее успешного индивида.
Для определенности принято, что гамета А принадлежала родителю с более высоким индексом приспособленности
Конечно, данная оговорка является некоторой уступкой ламаркизму, отрицаемому современной популяционной генетикой. Гаметы в действительности не содержат информации о степени приспособленности родителя. Последняя является лишь предпосылкой того, что гены данной особи продолжат свое существование в потомстве. Но, как мы уже говорили, в условиях искусственной эволюции позволено все, а как свидетельствуют наши эксперименты, предложенное правило разрешения конфликтов описаний ускоряет сходимость ГА. Что касается триады генетических операторов, то они, сохранив те же названия, приобрели новое содержание, более приближенное к исходным биологическим интерпретациям. Кроссовер в диплоидных популяциях воздействует на генотипы не двух особей (это изобретение Холланда), а на гомологичные хромосомы одной особи. Инверсия осталась в нашей постановке прежней, что же касается мутации, то она изменяет текущее аллельное состояние гена гаметы на любое другое, разрешенное алфавитом. Так, мутация может оказаться нейтральной, то есть не сказывающейся в фенотипе потомка, если она не изменяет состояние активности рецессивного гена (r-R или наоборот). Однако это не значит, что она никогда не проявится в будущем потомстве. Достаточно мутированному таким образом гену встретиться с рецессивным гомологом, но принадлежавшим ранее менее приспособленной особи, как он экспрессируется в фенотипе.
Еще одно усовершенствование, о котором пока что ничего не было сказано, касалось порядка формирования начальной популяции. Мы поступали так: сначала генерировали популяцию как гаплоидную, а затем дуплицировали хромосомы особей, организуя диплоидные генотипы (по существу, мы осуществляли геномную мутацию). В таком случае начальные отношения доминирования не играли никакой роли, так как гомологичные гены в паре хромосом обладали одинаковой активностью и несли идентичную содержательную информацию. После первого же ранжирования популяции по приспособленности мы уже пользовались представленной выше таблицей разрешения конфликтов описаний.
Для того, чтобы продемонстрировать явные преимущества диплоидной популяции над гаплоидной в способности восстанавливать генетическое разнообразие и осуществлять поиск в изменившихся условиях, мы поставили следующий численный эксперимент.
Предположим, что начальный момент рассматриваемого нами периода эволюции совпал с внезапным изменением рельефа целевой функции. Предположим также, что предшествующий период был стабильным и настолько длительным, что обе популяции (как гаплоидная, так и диплоидная) выродились как фенотипически, так и генотипически вокруг начала координат в пространстве поиска ^10. Для гаплоидной популяции это означает, что во всех разрядах каждой хромосомы стоят ноли (см. рис 28).
0000000000000000
0000000000000000
0000000000000000
Рис. 28. Популяция гаплоидных генотипов, выродившаяся в начале координат
В то время как для диплоидной это же предположение может быть выполнено, если во всех гомологичных парах генов будут доминировать ноли, независимо от того, какую информацию несут рецессивные гены (см. рис 29).
dddddddddddddddd
RRrRrRdRdddrRrdr
dddddddddddddddd
rRRdrRRdddRRRRdr
dddddddddddddddd
dRRdRdrRddrRRrRR
Рис. 29. Выродившаяся диплоидная популяция
Итак, внезапно целевая функция приобретает вид
/(х )=Х-xi sin(vH I - 500 - xi - 50. (12)
І=1
Это одна из широко известных тестовых функций, предложенных Швефелем. Она имеет более 10 миллионов локальных экстремумов, глобальный же минимум по каждой из координат лежит в точке
х_І = 420,9687, i = 1...10. (13)
Рис. 30 иллюстрирует процесс поиска экстремума диплоидной и гаплоидной популяциями по двум первым координатам вектора переменных.
В начальный момент времени t=0 обе популяции лежат в начале координат. Если исходным источником генетического разнообразия у вырожденной гаплоидной популяции является мутация, а инверсия и кроссовер только усиливают последствия ее воздействия, то в диплоидной популяции первый же акт скрещивания приводит к появлению нескольких доминантных единиц в генотипе потомка. Единицы извлекаются на свет из рецессивных "подвалов" генофонда, благодаря чему популяция очень быстро разбрасывает потомков по всему поисковому пространству и исследует его.
К 500 поколению обе популяции достигают приблизительно одинакового фенотипического разнообразия, но дальше процесс развивается у них поразному. Не будем забывать, что численность популяции поддерживается неизменной, то есть в популяции действует отбор на элиминирование. Постоянный отток генетического материала, по идее, должен компенсироваться изменчивостью потомства, и так оно и есть, но только на ранних этапах поиска, пока приспособленность особей по всей популяции остается болееменее однородной. Но как только в популяции появляются особи срезко отличающейся приспособленностью, они получают преимущество в праве стать родителем и дают потомство, похожее на них. Потомство получается, по крайней мере, неплохим и вклинивается в иерархию популяции, вытесняя наименее приспособленных особей за границы численности, образующей новое поколение. Популяция стягивается в найденный локальный экстремум, выбраться откуда ей значительно сложнее, чем из начала координат, где она лежала на склоне мелкого оврага.
Сказанное особенно верно для гаплоидной популяции. Она быстро сходится, но если ей подворачивается хороший локальный экстремум, существует риск, что она застрянет в нем. К 3000 поколению гаплоидная популяция находит 4 лучших экстремума (глобальный, 2 субоптимальных и субсубоптимальный) и начинает концентрировать особей в их окрестностях. Но к 6000 поколению она полностью вырождается в субоптимальном минимуме по 1ой и еще трем координатам вектора переменных, хотя по 2ой и остальным пяти координатам находит глобальное решение.
Старт из вырожденного состояния оказывается слишком тяжелым для гаплоидной популяции. Она не успевает достаточно исследовать поисковое пространство прежде, чем отбор на элиминирование начинает оказывать свое истощающее влияние на разнообразие.
В наших экспериментах диплоидная популяция тоже не всегда могла справиться с задачей, но делала это в 8 случаях из 10, что существенно превосходит результаты, демонстрируемые гаплоидной.
Диплоидная популяция работает медленнее. К 3000 поколению уже просматриваются отдельные группы особей, но не так отчетливо как у гаплоидной. Даже к 6000 поколению популяция оказывается невырожденной, хотя большая ее половина лежит в окрестности глобального экстремума по всем координатам. Маленькие группы сохраняются в субоптимальных экстремумах. Если предположить, что в этот момент снова произойдет изменение рельефа целевой функции, она, по сравнению с гаплоидной, окажется лучше подготовленной к очередной адаптации.
Следует признать, что тестовая функция (12) относится к разряду простых для ГА. То, что гаплоидная популяция не нашла решение за 6000 поколений, объясняется только чрезвычайно сложными для нее начальными условиями поиска. В норме популяция из 100 особей, сгенерированная обычным образом, находит решение за 20002500 поколений по всем координатам и очень точно. Диплоидная популяция всегда проигрывает ей в скорости, но в трудных условиях дольше сохраняет работоспособность и находит более выгодные решения.
Мы неоднократно убеждались в эффективности диплоидного способа кодирования, используя его при синтезе нейросетевых компонент систем управления. Хотя время, требующееся для решения задач, возросло, качество нейроэмуляторов и нейроконтроллеров улучшилось, и это дало нам основания подступиться к более сложной проблеме, а именно синтезу интеллектуальной системы управления.

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ И ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

Недостаточность априорной информации приводит к необходимости совмещать в определенном смысле изучение объекта и управление им. Мыі не можем оптимально управлять объектом, не зная его характеристик, но мыі можем изучать объект, управляя им, и тем самым иметь возможность улучшать управление, стремясь к оптимальному.
Двойственность знания и управления, как подчеркивал К. Шеннон, тесно связана с двойственностью прошлого и будущего. Можно обладать знаниями о прошлом, но нельзя управлять им, и можно управлять будущим, не зная его.
Быть может, именно в этом и состоит вся прелесть и смыісл управления.
Я.З. Цыпкин, "Адаптация и обучение в автоматических системах"
На рис. 31 представлено концептуальное решение разрабатываемой нами системы управления на базе ИНС с блоком обучения, реализующим ГА для поиска оптимальных параметров сети [33, 34].
Мы назвали нашу систему интеллектуальной, потому что она обладает одним из важнейших атрибутов интеллекта, а именно способностью к построению прогноза, осуществляемого виртуальным трактом управления.
Любопытно происхождение слова виртуальный. Оно берет свои истоки от латинского vir мужчина.
Римляне образовали от него другое слово virtus, которое служило для обозначения совокупности всех превосходных качеств, присущих мужчинам (физическая сила, доблестное поведение, моральное достоинство). Из латинского слово проникает в старофранцузский, а в XIII веке из французского в английский язык.
В современном английском слово virtual приобрело дополнительный оттенок "но не существующий в действительности ". В толковом словаре [35] читаем:
Virtual being in essence or effect but not in fact or name (существующий в понятии или производящий эффект, но не существующий в действительности и не имеющий названия)
Между тем, такое значение сосуществует наравне с прямо противоположным. Англорусский словарь [36] дает перевод virtual как фактический.
Большой физический словарь [37] просто приводит почти противоположные значения эффективный, действующий; эквивалентный; фактический, полагаясь на нашу сообразительность и умение ориентироваться в контексте.
Эталонная модель


Рис. 31. Концептуальный проект САУ с блоком обучения на основе ГА
Последнее время все большую популярность в научной литературе приобретает устойчивое словосочетание виртуальная реальность. Впервые этот термин появился в лексиконе разработчиков компьютерных программ, предназначенных для наземного обучения космонавтов навыкам автономной работы в открытом космосе.
С изобретением шлема и перчатки, пришедшим на смену дисплею и джойстику, зрительная и моторная компоненты интерактивной компьютерной имитации значительно усовершенствовались, существенно расширив границы применимости разработанных систем в качестве тренажеров для летчиковистребителей и представителей других экзотических профессий. Воздействуя одновременно на несколько каналов поступления информации в мозг (зрение, слух, вестибулярный аппарат, тактильные ощущения), современные компьютерные системы виртуальной реальности способны активно влиять на сознание и подсознание и порождать у испытуемого ощущение своей причастности к разворачивающемуся перед его глазами сценарию.
Через компьютерные игры новая технология выплеснулась в мир, породив целое новое направление в видео.
Мы немного подругому трактуем это понятие. Если задуматься, виртуальная реальность существует в каждом из нас.
Одной из задач, подсознательно решаемых индивидуумом на протяжении всей жизни, является построение и уточнение картины мира, определение своего положения в нем и выработка стратегии собственного поведения. Мы не только моделируем для себя окружающий мир, но и как бы со стороны наблюдаем себя в этом мире, моделируя самих себя.
Исходя из таких представлений об интеллекте человека, мы подошли к проектированию системы управления. Внешним миром для нее служит объект, нейроконтроллер является ее телом, а виртуальный канал управления, содержащий модель объекта и модель нейроконтроллера ее "мозгом", местом, где система моделирует себя в окружающем мире.
Подготовка системы к работе происходит следующим образом. Мы предполагаем, что с самого начала нам доступна априорная информация о поведении объекта в различных режимах. Тогда задачей первого этапа является переработка этой информации в библиотеку тренировочных шаблонов, на основании которой затем синтезируется нейроэмулятор объекта. Когда интегральная ошибка, генерируемая эмулятором, снижается до заданного предела, параметры нейроэмулятора копируются в блок тренировки нейроконтроллера.
Здесь с участием эталонной модели происходит оценка различных стратегий управления объектом, рассматриваются и сравниваются между собой различные сценарии будущего. Как только удается достичь выполнения виртуальным трактом требований эталонной модели, параметры виртуального контроллера сбрасываются на исполнительный контроллер, после чего система может приступать к работе.
При изменении характеристик объекта происходит естественное снижение качества управления. По мере увеличения расхождения в текущем поведении объекта с ожидаемым система получает возможность понять, что объект изменился.
Новые переходные характеристики пополняют библиотеку тренировочных шаблонов, после чего параметры нейроэмулятора корректируются. Далее все происходит как и ранее.
Когда подгонка эмулятора осуществлена, начинается корректировка параметров нейроконтроллера, завершающаяся изменением параметров исполнительного контроллера.
Трудно рассчитывать, что за один такой цикл обучение закончится, так как новая информация об изменившемся объекте вряд ли может претендовать на достаточную полноту. Логично предположить, что после первой тренировки эмулятор не будет точно описывать объект, а поэтому и синтезированный с его помощью контроллер не сможет справиться с задачами управления.
Тем не менее, очевидно, что новый контроллер будет генерировать хоть и не оптимальное, но всетаки новое управление, которое вскроет новые особенности поведения объекта. Новая информация даст возможность снова расширить библиотеку шаблонов, дотренировать нейроэмулятор и нейроконтроллер и обновить параметры исполнительного контроллера.
Так система сама изучает объект и постепенно совершенствует свои способности к управлению. Наверное, спектр количественных изменений характеристик объекта всегда ограничен определенными рамками, вне которых исчезает качественная определенность объекта как такового.
Поэтому, когда эти возможности в процессе эксплуатации объекта исчерпаются, система станет робастной, то есть приобретет способность управлять объектом при любых обстоятельствах.
Пугающие трудности синтеза нейроэмулятора даже в offline режиме, встретившиеся нам, главным образом, при определении объемов информации об объекте, достаточном для синтеза его нейросетевой модели, не смогли охладить наш энтузиазм в отношении столь фантастической концепции интеллектуализации. Конечно, она порождает много дополнительных вопросов о соотношении темпов эволюции и адаптации в online режиме, о принципиальной сходимости алгоритма адаптации, содержащего две, вложенные одна в другую, процедуры оптимизации.
Тем не менее мы верим, что ГА обладают достаточной поисковой мощью, чтобы справиться с такими проблемами при существующем уровне развития персональных компьютеров.
Возвращаясь к трем вопросам, поставленным в разделе по моделированию, мы можем дать четкий ответ пока только на первый из них.
Да, нейросетевые модели динамических объектов могут быть настолько точными, что нейроконтроллер, синтезированный с использованием нейроэмулятора, оказывается способным управлять самим объектом без какихлибо дополнительных настроек.
Мы провели последовательно три однотипных эксперимента с тестовым объектом при разных значениях Z в уравнении (8), в процессе которых сначала синтезировали нейроэмулятор объекта (см. Приложения 2 4), а потом с помощью нейроэмулятора нейроконтроллер.
На заключительном этапе эксперимента нейроконтроллер опробовался на самом объекте. К нашему удовлетворению, во всех трех случаях нейроконтроллер смог управлять объектом без снижения качества по сравнению с работой в составе виртуального канала.
Эти эксперименты оказались полезными совершенно в неожиданном плане. Они продвинули вперед наше понимание того, что следует считать объективным критерием адекватности модели объекта.
Действительно, точность модели можно считать удовлетворительной только в том случае, если построенный с ее помощью контроллер оказывается способен управлять объектом.
Следует признать, что синтез виртуального тракта системы управления оказался не таким простым делом, как могло показаться вначале. Достаточно сказать, что наша первая попытка организовать его путем тривиальной стыковки нейроконтроллера и нейроэмулятора, предварительно синтезированных на классической модели объекта (см. Приложение 1 и Приложение 3), натолкнулась на неожиданные препятствия.
Они не стали работать вместе, и мы не сразу догадались почему.
Дело оказалось в том, что когда мы синтезировали контроллер на объекте, нас интересовал только выход объекта, но не контроллера. Это было особенностью применяемой методики, так как ошибка в выходе объекта использовалась для обучения, что же касается контроллера, то мы и не пытались понять, какое управление он должен генерировать, чтобы заставить объект вести себя требуемым образом.
Как следствие, мы не контролировали и никак не ограничивали амплитуду выхода контроллера, которая, как видно из рисунка 32, достигала значения 5 при единичном задании u_r. Вот такое управление и не смог отрабатывать нейроэмулятор, поскольку он обучался на входных воздействиях до 1. Точно повторяя поведение объекта управления при амплитудах входного воздействия меньше 1, эмулятор практически не работал при больших амплитудах.
Рис. 33 показывает, как катастрофически ухудшается качество его работы уже при входном сигнале равном 4.


Рис. 33. Работа нейроэмулятора при больших значениях амплитуды входного воздействия (кривая 1 входной сигнал; 2 реакция объекта; 3 реакция нейроэмулятора)

Рис. 32. Выходной сигнал нейроконтроллера (кривая 1), обученного по дифференциальным уравнениям объекта, при единичной амплитуде сигнала задания, (кривая 2 выход объекта)

ЗАКЛЮЧЕНИЕ

Впрочем, на самом деле ничего удивительного в этом нет, мы просто избалованы линейными классическими моделями. То, что они достоверно описывают реальный объект только в узком диапазоне рабочих условий, часто ставится им в вину при решении практических задач.
Но в самом моделировании, как в нашем случае, их поведение безупречно, и нейросетевым моделям трудно соревноваться с ними.
Возвращаясь к проблеме синтеза виртуального тракта, отметим следующее.
Вопервых, хотя обучение нейроконтроллера ведется по выходной координате эмулятора, необходимо ограничивать амплитуду управляющего сигнала, генерируемого контроллером, верхней границей допустимого диапазона входных воздействий эмулятора. В описываемых экспериментах эта граница составляла 1.
Вовторых, из двух возможных способов ограничения жесткого среза амплитуды выходного сигнала либо более мягкого штрафования за превышение разрешенного уровня более предпочтителен второй. Он дает возможность генетическому алгоритму ранжировать популяцию с учетом этого признака и постепенно избавляться от тех решений, которые генерируют слишком сильное управление.
Используя эти дополнения к методике, а также ограничив величину задания u_r=0,5, мы и синтезировали три нейроконтроллера, о которых говорилось выше. Параметры одного из них представлены в Приложении 5, а его выход при входном задании u_r=0,5 на рисунке 34.
Конечно, выполненные эксперименты не доказывают исключительных адаптивных свойств интеллектуальной системы. Каждый раз мы сами организовывали сбор информации об объекте, требующейся для синтеза эмулятора, действуя по предварительно выверенному плану. Для того, чтобы убедиться в способности системы сделать это самостоятельно, нужно распараллелить три задачи формирование библиотеки тренировочных шаблонов, тренировка эмулятора, тренировка контроллера, после чего суметь правильно распределить ресурсы вычислительной системы и организовать обмен данными между ними.
Современные операционные системы (Windows NT, Windows 95) обладают возможностями для решения таких проблем даже на однопроцессорных машинах, и мы намерены реализовать их в ближайшем будущем.
В завершение хотелось бы процитировать Р. Докинза, прочтение книги [38] которого оказало огромное влияние на ход наших мыслей на протяжении последних 2х лет. Он пишет: Эволюция способности к моделированию, очевидно, привела в конечном итоге к субъективному осознанию.
Почему это должно было произойти, представляется мне глубочайшей тайной, стоящей перед современной биологией. Нет оснований полагать, что электронные компьютеры действуют осознанно, когда они что нибудь моделируют, хотя нам приходится допускать, что в будущем они, возможно, будут осознавать свои действия.
Быть может, осознание возникает тогда, когда модель мира, создаваемая мозгом, достигает такой полноты, что ему приходится включать в нее модель самого себя.
Представляется, что человечество вплотную подошло к разрешению этой задачи.

ЗАКЛЮЧЕНИЕ

Прозрачность и доступность идей, составляющих методологический базис современных методов эволюционного моделирования, производят на нас поистине завораживающее впечатление. Нельзя сказать, что эти идеи заимствованы из обыденной жизни, ведь на самом деле они представляют собой революционные открытия в биологии не более чем полувековой давности, но сегодня о них знает каждый школьник и они уже лет 20 входят в перечень того, что должен знать среднестатистический обыватель, на каком бы континенте он ни жил.
Тем более удивительным представляется тот факт, что объединенные в одно целое, эти идеи приобретают реальную силу и дают нам в руки эффективный инструмент для решения сложных задач моделирования и синтеза.
ГА + ИНС охватывают только кусочек того, что называют эволюционным моделированием. Но как нам представляется и как мы пытались продемонстрировать , эти две вычислительные технологии обладают огромным созидательным потенциалом.
Подобно тому, как понятия передаточной функции и динамического звена составили инструментальный базис классических методов моделирования динамических объектов и проектирования систем их управления, нейронные сети являются эффективным инструментом эволюционного моделирования и синтеза. Они в такой же мере способны охватывать весь спектр проблем, связанных с построением систем управления начиная от синтеза модели объекта и заканчивая синтезом законов управления, и все это при помощи одних и тех же приемов, в рамках единого подхода.
Это выгодно отличает их от многих других современных техник, которые проявляют эффективность при решении только частичных задач (скажем, fuzzy logic находит применение только при синтезе контроллеров, но оказывается бессильной в моделировании самих объектов), и дает основания причислить их к классу доктрин, имеющих парадигмальное значение для современных технических наук.
Мы понимаем, что представленные нами иллюстративные примеры можно упрекнуть в некоторой простоте тестового динамического объекта. Но не будем забывать, сколько лет и какой численностью отрядов ученых шла классическая наука к простому описанию подобных объектов, к умению обращаться с ними.
Нейронные же сети начали добиваться признания совсем недавно, не более 10 лет назад (то же самое можно сказать и о генетических алгоритмах).
Можно также предположить, что вряд ли их продвижение в сторону real world applications будет быстрым или триумфальным. Та легкость, с которой ИНС утвердились в когнитивных науках, является скорее обманчивой и может быть объяснена простым отсутствием серьезных конкурентов. Существующие же техноценозы, взращенные в рамках классической научной парадигмы, и так неплохо удовлетворяют основные потребности общества.
И найти в этих джунглях свободную нишу очень трудно все ярусы давно заняты и борьба за место под солнцем не прекращается ни на минуту.
Впрочем, ситуация изменяется очень быстро, наши требования к технике непрерывно совершенствуются, и никто не возьмется предугадать, сколь долго классическая парадигма сможет сохранять свою монополию. Да это и не так важно.
Главный прогресс последних лет состоит в том, что то ощущение близости, общности решаемых инженерами и Природой задач, которое не так давно только витало в воздухе, сегодня переросло в уверенность, что мир органических репликантов и мир культурных репли-кантов, к каковым относятся и научные идеи, развиваются по одинаковым законам, а значит, нам есть чему учиться у Природы. Представленный материал доказывает, что первые результативные шаги в этом направлении уже сделаны.

ТЕРМИНОЛОГИЧЕСКИЙ СЛОВАРЬ

Аксон отросток нейрона, который передает импульсы другим нейронам.
Аппель каждый ген способен занимать только определенную область в хромосоме, так называемый локус. В популяции всегда найдутся особи, у которых в идентичных локусах представлены различные формы генов.
Эти альтернативные формы и называются аллельными состояниями гена или просто аллелями.
Гаметы (биол.) клетки, которые несут генетическую информацию о родительской особи. У животных и человека мужские гаметы называются сперматозоидами, а женские яйцеклетками.
Гаметы содержат гаплоидный (одиночный) набор хромосом. В эволюционном моделировании категория пол особи не применяется. Объектом моделирования являются панмиктические популяции бесполых организмов, то есть популяции, в которых отсутствует запрет на скрещивание любых двух особей.
Разнопо-ловость в природных популяциях как раз и играет роль естественного ограничения на скрещивание ни пара из двух самцов, ни пара из двух самок не могут дать потомства.
Ген основная единица наследственности, представляющая собой фрагмент ДНК, кодирующий один или несколько фенотипических признаков и занимающий фиксированный локус хромосомы. Ген представляет собой скорее феноменологическую категорию и понятийно противостоит фену единичному, доступному наблюдению признаку организма, позволяющему дифференцировать его от других особей того же биологического вида.
В эволюционном моделировании фрагмент хромосомы, кодирующий значение одного из искомых параметров.
Генетический алгоритм (репродуктивный план Холланда) раздел эволюционного моделирования, заимствующий методические приемы из теоретических положений популяционной генетики. Представляет собой своего рода модель машинного исследования поискового пространства, построенную на эволюционной метафоре.
Характерные особенности: использование строк фиксированной длины для представления генетической информации, работа с популяцией строк, использование генетических операторов для формирования будущих поколений.
Глобальная оптимизация процесс поиска экстремума или экстремумов функционала, который в эволюционном моделировании соответствует приспособленности особи, интерпретируемой как ее способность решать поставленную задачу.
Дарвинизм разработанная Ч. Дарвиным теория, объясняющая эволюцию как результат взаимодействия двух факторов случайных изменений характеристик особей в череде поколений и естественного отбора (выживание наиболее приспособленных).
Дендрит (биол.) сильно разветвленная часть нейрона, которая получает импульсы от рецепторов или других нейронов и передает их телу клетки.
Диплоидия способ хранения наследственной информации у высших организмов, когда в ядрах соматических клеток содержится двойной набор хромосом, одна половина которого досталась особи от отца, а другая от матери.
Изменчивость (биол.) разнообразие признаков и свойств у особей любой степени родства. Термин изменчивость применяется также для характеристики преобразования форм живых организмов в процессе их эволюции. Различают изменчивость наследственную (генотипическую) и ненаследственную (паратипическую).
Изменчивость, обусловленную возникновением мутаций, называют мутационной, а обусловленную перестановками генов в результате скрещивания рекомбинационной.
Инверсия рекомбинационный оператор, который воздействует на фрагмент хромосомы, изменяя в нем порядок следования генов на обратный.
Искусственные нейронные сети класс гибких нелинейных регрессионных или дискриминантных моделей, включающих большое число нейронов, соединенных произвольным образом, нередко организованных в слойные архитектуры.
Когнитивная теория теория обучения, в соответствии с которой человек и животные усваивают знания в виде когнитивных карт (что где расположено) или ожиданий (что к чему приводит). Это контрастирует с теорией инструментального обучения, которая предполагает, что обучение сводится к усилению или ослаблению специфических реакций.
Кроссовер, кроссинговер, (от англ. Crossover, crossingover перекресток) (биол.) одна из стадий процесса гаметогенеза, присущего только организмам, размножающимся половым путем. В фазе кроссовера хромосомы потенциального родителя, участвующие в выработке гамет, выстраиваются друг напротив друга, скрещиваются в некоторой средней точке и расходятся, обменявшись порциями генетического материала. При последующем оплодотворении мужская и женская гаметы (сперматозоид и яйцеклетка) сливаются в зиготу, диплоидную клетку, дающей начало новому организму.
В эволюционном моделировании под кроссовером понимают оператор, который формирует хромосому потомка, собирая ее из фрагментов родительских хромосом. Если речь идет о гаплоидной популяции, результирующая хромосома сразу интерпретируется как самостоятельная особь.
Ламаркизм эволюционная теория, предшествовавшая дарвинизму. Ламарк верил, что эволюционное развитие идет путем наследования потомками индивидуальных приспособлений, приобретенных родителями в течение жизни.
Хотя ламаркизм не нашел подтверждения, идея наследования результатов прижизненной адаптации успешно применяется в эволюционном моделировании.
Мутация оператор, вносящий изменения в структуру копии родительской хромосомы, модифицируя значения отдельных генов в рамках разрешенного аллельного алфавита.
Нейрон (биол.) нервная клетка. В эволюционном моделировании нейрон (нейрод, вычислительный узел, обрабатывающий элемент) простой линейный или нелинейный элемент, который имеет один или несколько входов, вычисляет функцию входных сигналов и передает результат одному или нескольким другим нейронам.
Обобщающая способность нейронной сети интерполирующие свойства.
Обучение, тренировка нейронной сети настройка параметров сети, параметрическая оптимизация сети с целью снижения функции ошибки между желаемыми и действительными значениями выходов сети.
Оптимизация итеративный процесс улучшения решения задачи, сформулированной в постановке поиска экстремума целевой функции.
Особь представитель определенного биологического вида, который характеризуется неразрывным единством генотипа и фенотипа. В эволюционном моделировании особь также обладает генотипом, однозначно определяющим приспособленность, и имеет смысл одного из возможных решений рассматриваемой задачи.
Парадигма самодостаточная совокупность основополагающих идей и принципов, позволяющая на собственной мировоззренческой основе формировать цельную по внутреннему единству картину объектного мира. Сегодня можно говорить о существовании в науке двух равноправных парадигм классической и эволюционной.
Популяция группа особей одного вида, то есть обладающих одинаковой структурой генотипа и поэтому способных взаимодействовать друг с другом, например, скрещиваться и давать потомство.
Приспособленность (биол.) интегральная характеристика реализованных организмом способностей противостоять окружающей среде. Часто оценивается как коэффициент размножения, то есть количество доживших до репродуктивного возраста потомков, оставленных данной особью.
В эволюционном моделировании количественная характеристика, показывающая, насколько успешно особь решает поставленную задачу, и позволяющая сопоставить ее в этом отношении с другими особями.
Селекция процесс, при помощи которого некоторые особи из популяции отбираются для получения от них потомства. Обыкновенно на базе предпочтения по величине индивидуальной приспособленности.
Хромосома (биол.) одна из цепочек ДНК, обнаруженных в клетках. Хромосомы присутствуют во всех клетках организма, хотя только небольшая их часть активна в какой-то конкретной клетке.
В эволюционном моделировании под хромосомой понимают фрагмент данных, содержащий искомые параметры. Он может быть представлен в виде бинарной строки или целочисленного массива.
Элитизм принцип формирования следующего поколения в популяции, при котором хромосомы наиболее приспособленных особей текущего поколения копируются в следующее поколение, не подвергаясь действию генетических операторов. Элитизм гарантирует сохранение в популяции сверхиндивидов, переходящих из поколения в поколение, но, как правило, ускоряет вырождение популяции, иногда преждевременное.
Эволюционное моделирование направление в математическом моделировании, объединяющее компьютерные методы моделирования эволюции, а также близкородственные по источнику заимствования идей (теоретическая биология, если таковая существует) другие направления в эвристическом программировании. Включает в себя как разделы генетические алгоритмы, эволюционные стратегии, эволюционное программирование, искусственные нейронные сети, нечеткую логику.
Эволюционная система система, динамика развития которой опирается на принципы воспроизводства, изменчивости, соревнования и отбора.
Эпоха одна итерация в вычислительном процессе





    Нейросети: Нейролингвистика - Логика

• Нейросети
  
• Теория нейросетей
  
• Справочник по нейросетям
  
• Софт для нейросети
  
• ANSYS - нейросеть
  
  
• Обучение нейросети
  
• Классификация нейросетей
  
• Искуственный интелект и нейросети
  
• Финансы и нейросети
  
• Железо нейросети
  
  
• Построение нейросети
  
• Инструменты нейросети
  
• Применение нейросетей
  
• Нейросетевой анализ
  
  
• Нейролингвистика
  
• Нейролингвистика на практике
  
• Нейролингвистическое программирование
  
  
• Логика
  
• Нечеткая логика