Информация

Подходы к определению и измерению информации

Описание целостного объекта или системы должно содержать информацию об этом объекте или системе. Для того чтобы построить или просто представить себе что-то, нужна информация о том, что это такое, какими обладает свойствами, как это выглядит и так далее. В двух предыдущих фразах использовано слово "информация", а с начала лекции оно прозвучало уже одинацать раз, и у читателя в связи с этим не возникает никаких затруднений при чтении. Ни у пишущего, ни у читателя как в приведенных примерах, так и практически в любом другом случае при использовании или чтении слова "информация" не возникает потребности в определении и тем более в формализации этого понятия, если только этот термин не употребляется в каком-то специальном смысле.

Тем не менее попытка формализации понятия информации произвела большое впечатление на представителей гуманитарных наук. Сразу после выхода классической работы Клода Шеннона у биологов, психологов, лингвистов, историков и представителей других гуманитарных дисциплин появилась надежда на то, что эти описательные эмпирические дисциплины, используя предложенную формализацию понятия "информация", станут науками более точными и теоретическими. Этим надеждам не суждено было сбыться, поскольку теория информации Шеннона относится лишь к одному узкому аспекту проблемы и не имеет отношения к решению основных вопросов, представляющих интерес для исследований, которые проводятся в рамках гуманитарных наук.

После Шеннона представителями математики, кибернетики и даже философии предпринимались многочисленные попытки формализации понятия "информация" при его более широкой или, наоборот, более узкой и в каком-либо смысле более полезной трактовке. Однако до сих пор достаточно полной, законченной, устраивающей всех строгой теории информации не придумано. Оказалось, что интуитивно понятный термин поддается формализации с большим трудом. Интересно понять, почему. Рассмотрим связанные с этим вопросы несколько подробней.

Для определения понятия часто достаточно уметь отвечать на два вопроса: "Что это такое?" и "Как это измерить?". Ответ на первый вопрос дает качественную определенность, ответ на второй - количественную. Ответ на первый вопрос необходим всегда. Второй вопрос можно поставить не всегда, а лишь тогда, когда определяемое понятие относится к маломерной, в принципе измеряемой сущности (величине, качеству, переменной). В случае с информацией это не так. Вопрос "Как это измерить?" применительно к информации можно поставить далеко не всегда.

Первый вопрос "Что это такое?" часто особых затруднений не вызывает. Обычно всех на бытовом уровне удовлетворяет примерно такой ответ: информация - это сведения о чем-то, содержащие или описывающие знание чего-то. Однако в век интенсивного развития информационных технологий такое нестрогое определение многих не устраивает. Было предложено очень много разных определений, в том числе и определений, ориентированных на построение разных вариантов теории информации. Общепринятого строгого определения нет.

Выделяются два основных научных подхода к определению того, что такое информация. Согласно первому, информация есть внешнее описание объекта, содержащееся в передаваемом сообщении. Количество информации в этом случае определяется как мера неопределенности, снимаемая полученным сообщением (Шеннон). Согласно второму подходу, информация не связывается с передаваемым сообщением. Она относится к объекту и есть мера разнообразия объекта. Сторонником такой точки зрения является Эшби.

Для первого подхода важен процесс передачи информации и включение в рассмотрение не только объекта - носителя информации, но и субъекта - приемника информации. Теория информации Шеннона возникла из статистической теории связи и имеет прямое отношение лишь к таким операциям с информацией, как ее кодирование, передача по техническим линиям связи и хранение в памяти технического устройства, например, в памяти электронной вычислительной машины. Одна из предложенных Шенноном формул для определения количества информации такова:

где - информация, которую содержит событие о событии ,

- вероятность события до наступления события ,

- вероятность события при условии наступления события .

Другая формула Шеннона позволяет определить количество информации, содержащейся в сообщении из символов в зависимости от частоты их встречаемости:

Таким образом, вводится количественная мера, которая может быть использована при проектировании технических устройств для оценки количества передаваемой или запоминаемой информации, а также при решении ряда сопряженных проблем, например, таких как кодирование, фильтрация, помехоустойчивость и т. п.

Для процесса обработки информации, осуществляемого мозгом человека или сложной искусственной системой, наибольшее значение имеют совсем другие аспекты. Игнорирование теорией Шеннона содержательной смысловой стороны информации послужило поводом для утверждений о недостаточности теории, хотя сама теория имеет четко ограниченный предмет и на всеобщую полноту не претендует.

Итак, при первом подходе к определению того, что это такое, информация понимается как мера изменения знаний субъекта об объекте в процессе их взаимодействия. Субъект получает информацию не вообще, а лишь в некотором заданном или выбранном отношении.

Такой подход связан с необходимостью учета субъективности. Одно и то же сообщение может иметь различное информационное содержание для разных субъектов в зависимости от того, что они хотят и что могут узнать. Например, один субъект избирательно узнает из радионовостей, как сыграл "Спартак", второй не знает, что такое "Спартак", и узнает, какая будет завтра погода, а третий хочет и может узнать и то, и другое.

В общем случае и чаще всего субъект может получить информацию не вообще, а лишь как дополнение к тому, что он уже знает.

Если поступило информационное сообщение о том, что слон белых стоит на поле е5, то для того чтобы получить из этого сообщения информацию, нужно иметь определенные необходимые знания, на которые эта информация может быть наложена. Нужно понять, что речь идет о шахматах, нужно знать шахматную нотацию и то, что слон может находиться на одном из 32 полей шахматной доски, в том числе и на поле е5. Нужно понять, что поле е5 черное. Только зная все это, а также то, какая часть черных полей шахматной доски кроме поля е5 свободна, можно подсчитать по формуле Шеннона, сколько бит информации содержится в сообщении. Так, если каким-то образом определить, что все черные поля кроме поля е5 свободны, то можно подсчитать, что в сообщении содержится 5 бит информации.

В более сложном случае, когда в сообщении приводится позиция с большим числом фигур, подсчет количества информации, содержащейся в этом сообщении, по формуле Шеннона практически невыполним. Правда, если речь идет о записи позиции, как и в любом другом случае, этот подсчет никакого значения для шахматиста не имеет. Точно так же для человека, получившего сообщение о том, как сыграл "Спартак", никакого значения не имеет содержащееся в этом сообщении количество бит информации.

При другом подходе считается, что информация является объективной характеристикой объекта, такой же, например, как энергия, то есть информация заключена в самом объекте. Чем сложнее организован объект, тем больше он содержит информации, которая является объективной мерой разнообразия.

Однако если принять тезис о неисчерпаемости материи вглубь, то при таком подходе неожиданно оказывается, что все объекты вне зависимости от их сложности обладают одинаковым количеством информации, равным бесконечности. В любом случае сделать количество информации о конкретном объекте обозримым можно только одним способом - вводя уровень рассмотрения.

Количество информации, которое можно получить об объекте, в этом случае зависит от выбранного уровня рассмотрения и характеризует объект не полностью, а лишь в определенном отношении. Информации вообще как бы не существует. Есть лишь информация о чем-то. Вводя уровень рассмотрения, нужно ввести и рассматривающего субъекта. В этой точке два выделенных выше основных подхода к определению того, что такое информация, смыкаются.

Итак, для получения информации нужны информационный срез (уровень рассмотрения) и, в общем случае, априорная информация. Как выделяется уровень рассмотрения? Обычно рассматривают два различных варианта.

Часто говорят, что объект может содержать информацию и исследоваться в отношении целевой функции субъекта. При достаточно общем понимании термина "управление" можно говорить, что информационный срез в этом случае определяется собственными задачами управления субъекта.

Такой подход позволяет достаточно естественно, правда, не всегда успешно, вводить количественные меры не только для определения количества информации в Шенноновском или каком-либо ином смысле, но также и для определения содержательности и ценности получаемой информации.

В другом варианте говорят, что объект может исследоваться вне зависимости от целевой функции субъекта, то есть получаемые сведения не используются для управления. В этом случае строятся информационные срезы в отношении организации самого объекта, в частном случае в отношении его устройства или целевой функции, если она определена.

Большое внимание в работах по теории информации уделяется проблеме измерения ее количества. После того как было выяснено, что предложенный Шенноном статистический подход к измерению количества информации не учитывает ее смысловую, содержательную сторону и в связи с этим во многих случаях, очевидно, неприменим, было предложено много альтернативных подходов, например, алгоритмический, семантический, прагматический, топологический, термодинамический.

Эта классификация сделана на основе работ, относящихся главным образом ко времени кибернетического бума шестидесятых годов. Последующие работы практически ничего принципиального к приведенной классификации не добавляют.

Обычно во всех работах по определению количественной меры информации вводится какой-то дополнительный аспект путем постановки вопросов типа: как это используется (объектом или субъектом) или что это дает (объекту или субъекту). Правда, на такие дополнительные вопросы не всегда возможен точный ответ. Например, количество информации может определяться как мера устранения неопределенности, имеющейся у субъекта, по выбору действий, ведущих к достижению субъектом каких-либо целей.

Такой подход к определению количественной меры информации типичен. Схема Шеннона, в центре которой между объектом и субъектом находится сообщение, по сути сохраняется, но вводится определенная семантика. То есть для вычисления количества передаваемой от объекта к субъекту информации нужно вычислять вероятности или меры неопределенности или энтропии и тому подобное, но не вообще, а при некоторых дополнительных условиях, что в определенном смысле эквивалентно введению уровня рассмотрения. Так, для того чтобы приведенное выше определение практически работало, для измерения количества информации нужно еще знать о возможных действиях субъекта и о способе их выбора, а также о целях субъекта, правилах постановки и выбора целей и о способах их достижения.

Таким образом, в классической теории информации, так же как и в упомянутых ее модификациях, на первое место ставится оценка количества информации. При этом в подавляющем большинстве случаев, интересных для гуманитарных исследований, эта оценка либо практически невыполнима, либо попросту не представляет интереса.

Поэтому, оставаясь в рамках схемы Шеннона, которая подходит для оценки количества простой хорошо структурированной информации, передаваемой от одного устройства (субъекта) к другому, оправдать надежды биологов, психологов, историков, лингвистов и представителей других гуманитарных дисциплин на то, что эти дисциплины, используя теорию информации, станут науками более точными и теоретическими, невозможно. Все эти науки по-прежнему остаются описательными и эмпирическими. Надежда на помощь этим гуманитарным дисциплинам со стороны более точных наук может снова возникнуть, по-видимому, лишь при другом взгляде на информацию и при разработке на этой основе семантической теории информации.

Итак, можно ли и нужно ли дать строгое формальное определение термину "информация"? Общего строгого определения, по-видимому, давать не нужно. Это слово просто и понятно. Информация - это информация или сведения о чем-то.

Тем не менее существует очень много самых разных определений. От общих и простых типа "информация - это сведения" или "информация - это знания" до специальных и более сложных, например: "информация есть случайный и запомненный выбор одного варианта из нескольких возможных". Часто отождествляют информацию и отражение, например: "информация есть отражение в сознании человека причинно-следственных связей в окружающем мире". Иногда, говоря об информации как об отражении, считают, что информация имеет отношение не только к живой природе, но в какой-то форме существует и передается при взаимодействии объектов неживой природы.

Иногда говорят даже, что информация имеет тот же статус, что вещество и энергия, и все в мире состоит из вещества, энергии и информации. Правда, с этим согласиться труднее всего. Если что-то и добавлять к веществу и энергии, то это естественней было бы назвать не информацией, а организацией, обеспечивающей качественную определенность и существование во времени материальных объектов (систем). При этом конкретной организации может соответствовать и конкретная, определенным способом зафиксированная и в принципе передаваемая информация об этой организации.

Иногда в некоторых современных и не только современных теориях, сопоставляя статус вещества, энергии и информации, идут еще дальше, утверждая, что информация первична, а материя вторична. При этом ссылаются на Библию - "В начале было Слово", или на то, что перед постройкой дома должен существовать его план, хотя бы в голове строителя. Обсуждать вопросы религии мы здесь не будем. Что касается плана в голове строителя дома, то этот план - ни что иное, как информация об организации задуманной постройки, зафиксированная на материальном носителе - мозге. Кроме того, план появляется не на пустом месте, а на основе разнообразной существующей в мозге информации об организации и законах взаимодействия объектов окружающей материальной среды.

Еще раз подчеркнем, что организацию системы (объекта), определяющую его качественную индивидуальность и сохранение качеств во времени, отождествлять с информацией не нужно. Организация может быть (к сожалению, не всегда) записана на каком-то языке, передана или запомнена. Таким образом, организация, как и все в мире, несет в себе лишь потенциальную информацию. Кроме того, в мозге возможно возникновение информации об организации воображаемых, не существующих реально объектов.

Итак, есть очень много различных трактовок понятия "информация". В конце концов, это дело вкуса или удобства построения каких-либо теорий. Чтобы не конкурировать со многими, в том числе и с появляющимися в последнее время новыми определениями, вводить еще одно определение понятия информации мы не будем. Тем более что общее, удовлетворяющее всех строгое определение, по-видимому, дать невозможно.

Попробуем, не давая строгого определения, уточнить наши качественные представления об информации. В мире есть материальные и нематериальные объекты, явления, ситуации и процессы. Все это на самых разных уровнях рассмотрения может быть описано (зафиксировано, отражено) в виде информации двух разных типов - как описание или как активная модель. Для создания описания нужен язык. Это может быть обычный язык общения либо специальный язык, в частности, язык математики. Для фиксации информации второго вида, т. е. для активной модели, могут использоваться какие-то другие средства, в частности и главным образом нейронные механизмы мозга.

Мне кажется, что информацию, понимаемую как описание, нужно (удобно) связывать с фиксацией, хранением или передачей, и следовательно, с фиксирующим, передающим, принимающим или запоминающим информацию субъектом. Кроме того, информацию всегда нужно связывать с используемым информационным срезом. Информация первого вида, т. е. языковое описание, создается человеком. Информация второго вида - активная модель среды или модель мира - создается в мозге человека или в мозге животного в процессе обучения и приобретения жизненного опыта.

Таким образом, будем привязывать понятие информации, понимаемой как модель среды, к мозгу, в первую очередь к мозгу человека, и считать, что информация о среде возникает и фиксируется в виде модели в процессе активного субъективного отображения материального и нематериального мира и самого субъекта отображения (человека или животного) в его мозгу Информация поступает в мозг либо как отражение мира при взаимодействии с ним, либо как описание. Эта информация используется для построения субъективной модели среды и себя в среде или для непосредственной организации восприятия и поведения в конкретной текущей ситуации. При понимании информации как знаний, фиксирующихся в виде активной модели среды, в рассмотрение вводятся объект - среда, субъект - человек (животное), получение и фиксация - отображение информации в мозгу в виде целостной модели и ее актуализируемых фрагментов, информационный срез - например, проблемная среда в задаче управления поведением и ее специальное частное отображение, определяемое текущими первичными и вторичными потребностями.

Таким образом, результатом исследования мира является строящаяся в мозгу человека информационная модель. Информационное содержание этой модели в какой-то форме и в каком-то объеме может быть переносимо на внешний носитель информации в виде описания. Информационная модель всегда неполна, поскольку относится лишь к части мира и к каким-то информационным срезам. Модель чаще всего неточна, являясь лишь некоторым приближением к действительности. Модель всегда субъективна. Так же как при строительстве дома очередной кирпич кладется на предыдущий или стыкуется с предыдущим, при построении модели новые знания сочетаются, стыкуются, согласуются или каким-то иным образом учитывают предыдущие. Важной особенностью строящейся в мозге модели среды является ее иерархичность не только по линии общее-частное, но и по линии часть-целое.

Добавим еще, что информационная модель, так же как и описания, может быть просто неправильной, то есть строиться на основе и в сочетании с ложными знаниями, заблуждениями или ошибками. Следует заметить, что и так называемая научная картина мира, фиксирующаяся и передающаяся в виде описаний, не только неполна и неточна, но и в каких-то аспектах может быть далека от объективной реальности и попросту ложна. Вспомним хотя бы астрономию Птолемея, теорию эволюции Ламарка или агрессивную агробиологию Лысенко.

Ниже, при ориентации в первую очередь на задачи поведения и восприятия, будет говориться не о модели мира, а о модели проблемной среды. Что такое проблемная среда? Проблемная среда животных - это среда, в которой решается задача поведения, оптимизируемого по критерию maxT, то есть задача удержания регулируемых переменных - первичных физиологических потребностей внутри области допустимых значений. Проблемная среда человека - это тоже среда, в которой решается та же задача maxT с добавлением к первичным физиологическим потребностям вторичных потребностей, определяемых в первую очередь общественным способом существования и развитыми социальными отношениями.

Итак, информация, фиксирующаяся в виде модели проблемной среды, - это субъективное отображение мира, которое строится в мозге для решения задач удовлетворения первичных и вторичных потребностей обладающего мозгом организма. Это отображение определяется в каждый момент целью (задачей), средствами и возможностями организма, а также накопленной к данному моменту информацией. Поэтому нужно еще раз подчеркнуть, что информационное отображение среды в мозге не является простым зеркальным отражением. Информационное отображение всегда неполно и субъективно и обычно неточно.

Чем отличается активная модель от описания? Описание статично и пассивно. Строящаяся в мозге модель среды динамична и активна. На этой модели разворачивается активный процесс мышления, включающий предвидение, умозрительное моделирование и умозрительное конструирование. Модель должна "жить по законам среды". В построенной в мозге модели должен не просто актуализироваться фрагмент, соответствующий текущей воспринимаемой ситуации. По модели должно осуществляться расширение этого фрагмента как в пространстве, так и во времени. Должно происходить соотнесение себя со средой как субъекта восприятия и поведения в отношении прошлого, настоящего и будущего. Возможно, что на этом основывается функция сознания. В основе активности лежит возникновение в модели очагов возбуждения и потребностей их гашения. Эти вопросы еще будут затрагиваться в дальнейшем.

Говоря об информации, часто разделяют данные и знания. Данными считается совокупность сведений о независимых или слабо зависимых фактах или объектах. Данные чаще всего представляются как описания в виде списков, таблиц, реестров и т. п. Знаниями считается информация о целостной системе взаимосвязанных фактов или объектов. Знания могут представляться как с помощью текста, так и специальных языковых средств, например, таких как логика предикатов, графы понятий и отношений, семантические сети или фреймы. Эти сложные, в том числе и иерархические, информационные системы не являются моделями. Они остаются описаниями, поскольку не обладают свойством активности.

Наиболее адекватным способом представления знаний является строящаяся в мозге активная модель проблемной среды. При изучении и попытках конкретизации процессов мышления отдельный интерес будет представлять перевод информации из формы описания в форму модели среды и обратный процесс - перевод из формы модели в форму описания.

Что дает введенное представление об особом виде информации, создающейся не как описание, а как модель проблемной среды? Для целей измерения ее количества практически ничего. В то же время определение информации как модели проблемной среды дает основание и возможность поговорить о том, что такое модель проблемной среды, сформулировать гипотезы о том, как эта модель устроена в мозгу человека, как она строится и используется, чем отличается фиксация информации и работа с ней в мозге и в вычислительной машине. Это, в свою очередь, может дать возможность связать представления о модели среды с проблемами моделирования нейронных механизмов мозга и сформулировать качественные требования к этим моделям. Большинство из этих вопросов в той или иной мере будет затронуто в следующих лекциях.

Итак, единого, устраивающего всех определения информации не существует. Проблема, по-видимому, состоит в том, что информация может существовать в двух разных видах - в виде описания и в виде строящейся в мозге активной целостной модели среды. Дать определение информации, имеющей вид описания, проще. Дать строгое определение информации, существующей в виде активной модели среды, сложно. Может быть, также сложно, как дать строгое определение процессу мышления.