Формальная модель поведения

Характеристика задачи поведения. Внутренняя и внешняя работа

Рассмотренные в предыдущей лекции принцип устойчивого неравновесия Э.С. Бауэра, а также вопросы, касающиеся поведения, позволяют сделать ряд выводов. В живом организме нужно различать внутреннюю и внешнюю работу. Внутренняя работа - это ассимиляция необходимых для биосинтеза веществ, биосинтез и диссимиляция. Внешняя работа бывает трех разных видов.

Первый вид внешней по отношению к клетке работы - это работа внутренних органов (сердце, легкие, печень, почки и т. п.). Управляет этой работой вегетативная нервная система. Главная цель этой работы - доставка к клеткам элементов питания и поддержание оптимального состояния внутренней среды организма. К этой работе относится понятие "гомеостаз" и идущие от кибернетики представления о роли отрицательных обратных связей и о регулировании по отклонению. Мышление в этой работе не участвует.

Второй вид внешней работы (поведения) - это реакции на внешние воздействия. К этой работе относятся понятия безусловный и условный рефлекс, схема стимул-реакция, сохраняющие реакции (по А. Ляпунову), динамический стереотип и идущие от кибернетики представления о разомкнутом контуре управления, т. е. об управлении по возмущению. К этому же виду работы относится и сформулированное И. Павловым представление об уравновешивании со средой. Центральная нервная система (кора головного мозга) в управлении этим поведением уже участвует как при обучении, так и при выборе реакций. Правда, эта работа мозга относительно проста и в плане рассматриваемой нами темы значительного интереса не представляет. Развитие схемы стимул-реакция - это сознательный поведенческий акт и его теория в виде функциональной системы П.К. Анохина. В схеме функциональной системы наибольший интерес могли бы представить блок афферентного синтеза и принципы выработки решения о действии. Однако эти вопросы в теории функциональной системы не раскрываются.

Третий вид внешней работы - это целенаправленное поведение. Рассмотрение этого вида работы с учетом принципа устойчивого неравновесия позволяет сконцентрировать внимание на следующих моментах:

Таким образом, поведение не ограничивается ответными реакциями на внешние стимулы и не преследует цели "уравновешивания со средой". Необходимость всего этого существует, но главная и постоянная задача поведения - удовлетворение потребностей, для которого необходимо достижение целевых ситуаций в среде. В основном для решения этой задачи эволюционно формировался мозг и развивалось мышление.

Главные проявляемые в поведении свойства живых организмов - активность и целенаправленность.

Все это нужно учитывать при построении модели поведения. Кроме того, нужно учитывать полученный Асмаяном и Голицыным предварительный экспериментальный результат, состоящий в том, что принятие решения животным в ситуации выбора подчиняется экстремальному принципу $$\max miVi$$ (здесь m - мотивация, V - скорость ее удовлетворения).

Итак, по рассматриваемой теме можно сделать следующие выводы. Интересующее нас целенаправленное поведение, естественно, не осталось без внимания физиологов. Однако целостной модели целенаправленного поведения в физиологии нет. Теория функциональной системы П.К. Анохина ограничивается рассмотрением отдельного поведенческого акта. За скобками остаются вопросы о возникновении, конкуренции и выборе доминант. Теория доминант А.А. Ухтомского говорит об этом только в самом общем виде без конкретизации принципов и механизмов выбора. При этом ограничиваться, как это часто делают в физиологии, словами о конечном приспособительном эффекте явно недостаточно. Хотелось бы сформулировать задачу более точно. Целевых ситуаций может быть много. Какие ситуации, в каком порядке и почему становятся целями направленного поведения? Какая задача решается в поведении? Каковы правила принятия решения в поведении? Я попробую сформулировать ответы на эти вопросы в виде принципа оптимальности (экстремального принципа) и вытекающих из этого принципа следствий.

Принципы оптимальности

Сначала остановимся на принципах оптимальности в физике и биологии. Развитие науки обычно идет от эксперимента к теории, от наблюдения фактов к их обобщению. Эти обобщения могут фиксироваться в виде законов, которые в совокупности объясняют наблюдаемые факты и предсказывают новые. Такими законами, например, являются законы механики Ньютона или законы геометрической оптики. Но возможен и следующий шаг обобщения в виде принципа оптимальности, который формулируется как требование минимума или максимума какой-либо величины. Так, все законы механики обобщает принцип наименьшего действия, а законы геометрической оптики обобщает принцип скорейшего пути Ферма. (Действие - это произведение массы, пути и скорости. Авторство принципа наименьшего действия связывается с разными именами - Мопертюи, Эйлер, Лагранж.)

Многие ученые давно пришли к мысли о том, что в природе все делается оптимально и все обобщения, а значит, и факты в любой области естествознания могут быть выведены из единого принципа оптимальности. Нужно только понять, что экономит природа в объектах и явлениях, относящихся к этой области естествознания. В пределе может существовать и общий принцип оптимальности, определяющий все в нашем мире.

Мысль о том, что в природе все подчиняется какому-то принципу оптимальности и всю науку можно строить не снизу вверх - от эксперимента к теории, а сверху вниз - от принципа оптимальности к частным законам, была высказана Эйлером. Однако ни Эйлеру, ни кому-либо другому найти такой общий принцип не удалось.

Что же экономит природа? В качестве вариантов напрашиваются и чаще всего рассматриваются: энергия, вещество, действие ( $$mvs=min$$ ), энтропия (негэнтропия), информация.

А может быть, экономится время?

Кстати, принцип Ферма действительно говорит о том, что при распространении светового луча экономится время. В этом плане безусловный интерес представляют и термодинамические принципы наименьшей диссипации энергии и наискорейшего спуска. Диссипацией называется процесс перехода энергии из упорядоченной формы в неупорядоченную тепловую. С этим процессом связано возрастание энтропии. Согласно принципу наименьшей диссипации энергии скорость диссипации энергии в устойчивом состоянии любой термодинамической системы минимальна. Указанный принцип является конечной характеристикой равновесного состояния. Для описания переходного процесса формулируется принцип наискорейшего спуска: в процессе приближения термодинамической системы к равновесному или стационарному состоянию функция внешней диссипации убывает наискорейшим возможным способом. Т. е. и в первом, и во втором случае процессы оптимизируются по времени. (Принципы предложены А.И. Зотиным и А.А. Зотиным. Авторы считают, что эти термодинамические принципы оптимальности включают в себя второе начало термодинамики и охватывают практически все явления природы.)

В плане рассматриваемой нами темы очень интересно также и общее утверждение Спинозы о том, что основной закон вещей - стремиться к максимально долгому существованию. На качественном уровне это понятно. Существует то, что "умеет" более или менее длительно существовать. Остальное разрушается и исчезает. Это перекликается с рассматриваемым ниже принципом maxT в поведении живых и не только живых систем.

В биологии в качестве принципов оптимальности главным образом предлагались принципы экономии энергии, экономии ресурсов, максимума энтропии и максимума информации. Эти идеи оказались в определенной степени продуктивными. Предложенные принципы многое объясняют, но далеко не все, поскольку они работают при определенных, как правило, нестрого формулируемых условиях - например, экономия энергии при условии удовлетворения нужд организма или при условии достижения целевой ситуации, экономия ресурсов при достижении заданного результата, максимум взаимной информации между стимулами и реакциями при условии достижения определенного результата и т. п.

С помощью подобных нестрогих условий (оговорок) можно практически всегда объяснить несовпадения результатов эксперимента и теории. Кроме того, почти всегда то, что задается только как находящееся на втором плане нестрогое внешнее условие, необходимое для выполнения этих принципов оптимальности (заданный результат, приспособительный эффект, полезность и т. п.), на самом деле должно находиться в центре внимания и определять цели и принципы поведения.

Более общим и естественным представляется рассматриваемый ниже принцип maxT.

Конкретизация задачи поведения

Итак, первой задачей, для решения которой возник и эволюционно развивался мозг, возникло и развивалось мышление, явилась задача поведения живого организма в сложной среде.

Я уже говорил, что часто задачи поведения, также как и задачи автоматического управления, рассматриваются по следующей упрощенной схеме: система путем управления (поведения) стремится удержать оптимальное по каким-либо собственным критериям состояние, отклонение от которого происходит за счет воздействий, поступающих на систему из среды. При этом причина поведения - воздействие, изменяющее состояние (стимул, возмущение), - находится вне системы, а цель - восстановление состояния - внутри.

Рассматривая такую схему, часто говорят, что единственная цель поведения живого организма в среде - это гомеостаз, т. е. обеспечение постоянства внутренней среды организма при поступающих из среды возмущениях. Из этого вытекают представления о необходимости поддержания равновесия в системе организм-среда, об основной схеме работы по типу стимул-реакция, условный и безусловный рефлекс, об обратной связи как об основном регулирующем факторе. Все это представляется серьезным упрощением, порожденным тем, что не учитываются или отодвигаются на второй план принципы организации живой материи.

В свете рассмотренных в предыдущей лекции представлений о неравновесности живого и принципе устойчивого неравновесия представляется, что гораздо естественней рассматривать поведение в рамках прямо противоположной схемы. По этой схеме причина поведения - собственная накапливающаяся неустойчивость, приводящая к ухудшению состояния, в том числе и к отклонению от нормы гомеостатических переменных, - находится в самой управляемой системе, а цели - внешние воздействия (факторы), необходимые для улучшения состояния (в том числе и для поддержания гомеостаза), - в среде.

Повторим то, о чем уже говорилось в предыдущей лекции. Выделение и использование свободной энергии в живой системе сопровождается постоянным разрушением и восстановлением структуры живой ткани, находящейся в неравновесном состоянии и обладающей свободной энергией. Для этого процесса необходимо поступление в систему извне определенных, в первую очередь органических веществ. Таким образом, направленное специфическое взаимодействие со средой в целевых ситуациях поведения необходимо для существования живой материи. Живая система должна быть открыта и постоянно активна. Поведение - непрерывная задача.

Принцип maxT

В связи с этим естественным представляется принцип maxT - принцип максимизации времени пребывания системы внутри условной области существования, определяемой как область допустимых значений регулируемых переменных.

Введение принципа maxT и упрощенной формальной модели поведения базируется на следующих конкретизирующих предпосылках. Для живых организмов характерно наличие потребностей. Удовлетворение физиологических потребностей, являющееся необходимым условием существования, может происходить только в определенных ситуациях взаимодействия организма со средой. Эти ситуации являются альтернативными целями направленного поведения. Поведение животных в каждый момент направлено в общем случае на достижение одной цели, соответствующей одной потребности. Ситуации необходимого целевого взаимодействия со средой в общем случае альтернативны.

Для живого организма, рассматриваемого как целое, характерно накопление неустойчивости в том смысле, что физиологические потребности имеют общее свойство, заключающееся в их нарастании с течением времени. Поддержание устойчивого неравновесия - непрерывная задача живых организмов, решаемая на клеточном уровне за счет внутренней работы, то есть ассимиляции органических веществ и синтеза живой неравновесной структуры. Обеспечивается эта работа на уровне целого организма за счет удовлетворения потребностей путем активного целенаправленного поведения в среде.

Физиологические параметры (переменные), определяющие наличие и величину первичных физиологических потребностей, должны иметь согласованные значения. Можно упрощенно предположить, что в многомерном пространстве физиологических переменных имеется область, соответствующая нормальному состоянию организма. Можно также предположить, что имеется еще одна более широкая область - область допустимых значений, выход за пределы которой гибелен для организма, и объективная задача поведения - максимально долго поддерживать величины физиологических переменных в пределах этой области.

Задача поведения не исчерпывается прямой задачей выживания отдельной особи, т. е. необходимостью поддержания значений первичных физиологических переменных организма и соответствующих им потребностей внутри области допустимых значений. К первичным физиологическим потребностям самого организма добавляются потребности, определяемые необходимостью продолжения рода, а также вторичные потребности, косвенно влияющие на первичные. Последнее особенно характерно для человека вследствие его сложного общественного способа существования. Добавление в рассмотрение вторичных потребностей не меняет общей схемы: система (живой организм) обладает внутренней неустойчивостью - неудовлетворяемые потребности увеличиваются. Потребности в общем случае альтернативны, то есть удовлетворяются раздельно и поочередно.

Еще раз определим принцип оптимальности в поведении. Цель поведения - максимизация времени пребывания системы внутри области допустимых значений регулируемых переменных (первичных и вторичных потребностей) - принцип maxT.

Из принципа оптимальности должны вытекать все частные закономерности. Мы постараемся как следствие принципа maxT вывести формальное правило принятия решения животным (и человеком) в ситуации выбора. Кроме того, как следствие принципа maxT формулируются гипотезы о формировании животными составляющих эмоциональных оценок как своего состояния, так и реальных и умозрительных ситуаций взаимодействия со средой. В дальнейшем мы рассмотрим принцип maxT более широко, то есть попробуем применить его не только к поведению живых организмов, но и к оптимальному управлению ("поведению") в некоторых искусственных системах.

Формальная модель

Рассмотренные представления о сути поведенческого акта позволяют представить себе упрощенную качественную модель поведения, основанную на принципе оптимальности ( maxT ) и вытекающей из этого направленности в выборе целей. От этих качественных представлений можно попробовать перейти к формальной модели. Упрощенная формальная модель поведения основывается на решении следующей задачи.

Пусть имеется $$n$$ -параметрическая система $$X(x_1,x_2,\ldots,x_n) $$, параметры которой увеличиваются с постоянными скоростями $$U(U_1,U_2,\ldots,U_n)$$. В каждый момент путем управляющего воздействия возможно уменьшение любого, но только одного из параметров $$х_i$$ с фиксированной скоростью $$V_i$$. Пусть область допустимых значений параметров системы ограничена выпуклой поверхностью $$F(x)=0$$ в первом ортанте, т. е. $$x_i\ge0$$.

Система представляется точкой $$X$$ в n -мерном пространстве. Если никаких управляющих действий не делать, то точка $$X$$ движется к границе области допустимых значений. Требуется найти условия, которые определяют возможность организации управления, удерживающего систему внутри области допустимых значений параметров, а также и саму тактику управления, оптимального в том смысле, что при этой тактике максимизируется время пребывания системы внутри области допустимых значений.

Можно получить различные алгоритмы решения этой задачи, основанные на определении точки выхода системы на границу области допустимых значений. Любой из этих алгоритмов естественно назвать глобальным, поскольку для его реализации необходимо предварительное рассмотрение всей задачи в целом и определение конечной точки системы. Однако такой подход к решению задачи затрудняет физиологические интерпретации, поскольку трудно предположить, что в живой системе в какой бы то ни было форме заложены сведения о ее конечной точке. Кроме того, реализация глобального алгоритма даже в случае, когда задача полностью и точно определена, часто требует слишком большого времени. Поэтому на алгоритм управления естественно наложить требование, чтобы решение, принимаемое системой в каждый момент времени, было функцией только состояния системы и среды в этот момент времени. Такой алгоритм управления будем называть локальным.

Решение сформулированной задачи с условием получения локального правила выбора управляющего действия позволяет, не вдаваясь в подробности, сформулировать следующие результаты.

Введем функцию, оценивающую состояние системы:

К этой функции мы будем обращаться в дальнейшем при рассмотрении разных тем.

Свойства функции $$Z(X) $$ таковы. Значение функции в начале координат $$Z(0)=0$$. В любой точке границы области допустимых значений переменных $$X $$ при $$F(X)=0$$ значение функции $$Z(X)$$ равно постоянной величине, равной $$F(0)$$. Всегда можно сделать так, чтобы значение $$F(0)$$ было положительно. Тогда в любой точке границы области допустимых значений параметров $$X$$ значение функции $$Z(X) $$ одинаково, положительно и максимально. Поскольку поверхность $$F(X)=0$$ выпукла, функция $$Z(X) $$ изменяется монотонно при монотонном изменении любых аргументов $$X$$.

Используя формулу полного дифференциала, можно определить приращение функции $$Z(X) $$ для $$j$$ -ro варианта управления:

К решению задачи ведет требование минимума приращения функции $$Z$$ нa выбираемом варианте (шаге) управления. Поскольку первое слагаемое приращения одинаково для всех $$j$$ (вариантов управления), оптимальная тактика, определяющая необходимое в каждый момент действие, задается вторым слагаемым. Таким образом, получаем локальное правило выбора варианта управления:

где $$j$$ - вариант управления на каждом оцениваемом шаге поведения; другими словами, в рассмотренной упрощенной задаче каждый вариант управления ( $$j$$ ) - достигаемый в один шаг вариант цели поведения.

Для оперирования полученным правилом выбора управляющего действия нужно знать функцию $$F(X) $$ и уметь находить ее частные производные. Проще всего случай, когда переменные $$X_i$$ независимы и область их допустимых значений - $$n$$ -мерный параллелепипед. Тогда

и локальное правило выбора управляющего действия имеет вид:

Если переменные $$X_i$$ зависимы, то с учетом ограничений, накладываемых на вид функции $$F(X)$$ проще всего и естественнее считать, что граница области допустимых значений переменных аппроксимируется функцией второго порядка, т. е. функция $$F(X)=0$$ определяет $$n$$ -мерный эллипсоид.

В этом случае локальное правило выбора управляющего действия имеет вид:

меры показывают, что процедура определения частных производных функции $$F(X) $$ для оперирования полученным соотношением при выборе управляющего действия может быть достаточно простой. В первом случае необходимо измерение близости переменных к предельному значению, во втором случае необходимо измерение отклонения величин переменных от нулевого значения.

Состояние системы (организма) характеризуется текущим значением вектора $$X$$. В зависимости от конкретных условий, то есть от соотношения скоростей увеличения и уменьшения параметров $$X$$ а также от реализуемого алгоритма управления, точка, отображающая состояние системы в пространстве $$\{X\}$$, может перемещаться к границе области допустимых значений, удаляясь от начала координат, или, наоборот, двигаться к началу координат, удаляясь от границы области регулирования.

В первом случае система движется к разрушению и полученное правило управления максимально замедляет это движение ( maxT ). Во втором случае система удаляется от границы области допустимых значений и то же правило управления максимально ускоряет это движение. При этом можно говорить, что управление (поведение) подчиняется принципу оптимальности minT - минимизируется время прихода системы в начало координат. В физиологической интерпретации можно говорить, что минимизируется время удовлетворения всех потребностей. Обе интерпретации принципа оптимальности minT и maxT полностью эквивалентны. В недетерминированной среде, то есть при возможности изменения условий задачи управления, максимально быстрое удаление от границы области допустимых значений создает запас времени и максимизирует время выхода системы на границу области регулирования в случае, когда система начнет вынужденно двигаться к этой границе при оптимальном управлении, т. е. мы опять приходим к принципу maxT.

Рассмотренная формальная задача является серьезным упрощением реальной задачи поведения. Главное упрощение - это одноэкстремальность задачи, позволившая получить локальное правило управления. Тем не менее эта задача, по-видимому, отражает принципиальную суть реальной задачи, которая сводится к рассмотренной упрощенной схеме. Общие принципы этого сведения мы рассмотрим теперь и уточним в дальнейшем.

Реальная задача

Приведенная формальная задача полностью соответствует интереснейшим экспериментам по изучению принятия решения животным в ситуации выбора, описанным в работе Н.В. Асмаяна и Г.А. Голицына [2]. Эти эксперименты мы будем подробно рассматривать в следующей лекции. Собственно, изложенная задача управления и упрощенная формальная модель поведения и возникли с учетом этих экспериментов. Так же как в физиологических экспериментах, в упрощенной задаче все целевые ситуации достигаются за один шаг. Это и другие упрощения (постоянство векторов $$U$$ и $$V$$, выпуклость области допустимых значений регулируемых переменных) позволили вывести локальное правило выбора действия, то есть не решать задачу до конца и не просчитывать время достижения границы области допустимых значений переменных на всех возможных траекториях управления. Рассмотренная упрощенная задача поведения одноэкстремальна. Многоэкстремальности в этой задаче при любом варианте поведения возникнуть не может, поскольку все цели достигаются за один шаг.

Однако эта одноэкстремальная задача принципиально отличается от многоэкстремальной задачи поведения животных и человека в реальной среде. Тем не менее поведение живых организмов все же, по-видимому, подчиняется принципу оптимальности maxT и локальному правилу выбора действия, суть которого определяется полученной формулой. Противоречие снимается, если предположить, что мозг в процессе обучения и мышления успешно выполняет сведение реальной многоэкстремальной задачи к рассмотренной одноэкстремальной.

Все изменения в неживом мире направлены по градиенту - равнодействующей всех действующих на систему физических сил. Изменения происходят в направлении быстрейшего уменьшения свободной энергии системы и заканчиваются при достижении ее ближайшего локального минимума. Сходным образом ведут себя и растения, обладающие элементарным восприятием среды и реализующие простое градиентное поведение. Растения, также как и животные, имеют потребности, но они всегда "знают", что им нужно делать: они тянутся к свету, теплу, питательным элементам - туда, где в данный момент лучше (так называемые тропизмы растений), то есть растения в своем поведении могут пользоваться локальным, градиентным правилом выбора. Для управления таким поведением мозг не нужен.

В отличие от растений животные могут перемещаться в пространстве. Это значительно расширяет их возможности по удовлетворению потребностей и в то же время значительно усложняет задачу поведения. Животные вынуждены жить в условиях необходимости решения многоэкстремальных задач. Для достижения какой-то цели они могут преодолевать боль, страх, препятствия, подвергаться нападениям, вступать в борьбу, тратить энергию, ухудшать свое функциональное состояние с целью в конечном счете его улучшить. Другими словами, в процессе поведения нужно уметь находить глобальный экстремум, преодолевая локальные.

Таким образом, в отличие от неживой природы и растений для животных характерна необходимость движения против градиента непосредственно действующих сил. В отношении причин, обуславливающих поведение высокоорганизованных живых организмов, обладающих развитой нервной системой, допустимо применение термина "психические силы". Однако поведение живых организмов может не определяться и равнодействующей непосредственно действующих "психических сил", если считать непосредственно действующими те силы (мотивации и эмоции), которые вызываются внутренним физиологическим состоянием организма и его взаимодействием с непосредственно воспринимаемым окружением (средой).

Однако движение против градиента "психических сил" высокоорганизованных живых организмов в конечном счете является кажущимся. Дело в том, что в мозге (животного, человека) формируется при обучении общее целостное отображение среды и модель взаимодействий со средой. Реальная ситуация на входе системы рассматривается только как актуализированный частный фрагмент некоторой обобщенной и укрупненной ситуации, развернутой во времени и пространстве за пределы непосредственного восприятия. Эта укрупненная и обобщенная, зависящая от опыта субъективная ситуация и формирует "психические" силы, по градиенту которых "псевдолокально" направляется поведение.

Глобальный экстремум можно находить путем полного перебора. Человек действует по-другому Он пытается свести многоэкстремальную задачу, которую можно решать только методом перебора, к градиентной одноэкстремальной, которую вообще не надо решать, так как в каждой точке нужно оценить и сравнить очень ограниченное число вариантов. То есть человек создает новое информационное отображение среды: он решает задачу с помощью обобщения и укрупнения. За счет этого в знакомой среде можно действовать почти автоматически - по прогнозируемому градиенту эмоциональной оценки ситуации. В принципе, также действуют и животные. Несколько подробнее эти вопросы будут рассмотрены в последующих разделах.

Таким образом, мозг нужен человеку и животному для создания модели среды, позволяющей решать многоэкстремальные задачи поведения, полагаясь на локальное правило принятия решения и выбора среди альтернативных вариантов поведения. Эта модель среды должна строиться на иерархии обобщаемых и укрупняемых представлений, дающих возможность определять и фиксировать доминантные целевые ситуации и находить одношаговые переходы к целевым ситуациям при умозрительном планировании поведения. На уровне одношаговых переходов задача становится одноэкстремальной.