§ 2. Информация без вероятности

Математические теории строятся в основном аксиоматиче­ски. Формулируется несколько аксиом, и, согласно определен­ным правилам, дедуктивно выводятся все остальные положения теории.

Но аксиоматически можно создать и некоторые другие тео­рии информации, минуя теорию вероятностей, на базе теории множеств. Такие теории действительно уже созданы (хотя еще недостаточно разработаны). Однако возникает вопрос: зачем не­обходимо создавать такие теории? И почему мы можем назвать их теориями информации?

Построение и развитие статистической теории информации оправдывается ее приложениями, практикой. Эта теория отража­ет некоторые закономерности явлений природы, общества и по­знания (мышления). Для того чтобы делать вывод о необходимо­сти невероятностных теорий информации, следует показать их возможное практическое приложение и недостаточность лишь статистического подхода. Рассмотрим некоторые факты, которые свидетельствуют об ограниченности вероятностных представле­ний в теории информации.

Вскоре после работ К. Шеннона появились попытки оце­нить количество информации в живых организмах. Подробно об этих попытках мы расскажем далее (см. § 8). Здесь лишь отме­тим, что на молекулярном уровне в соответствии с вероятност­ной теорией информации одноклеточный организм содержит не

3 13 [6]

менее 10 , а может быть, даже 10 битов . Это количество ин­формации, по Кастлеру, выражает в двоичных единицах число молекулярных конфигураций, совместимых с жизнью.

С какой вероятностью могут возникнуть структуры с та­ким количеством информации? Согласно теории вероятностей, возникновение биологической организации мы можем рассмат­ривать как некоторый опыт, имеющий очень большое число ис­ходов . Предположим, что эти исходы равновероятны. В этом случае вероятность какого-либо определенного исхода (допус­тим, возникновения данной биологической организации) и ко - личество информации в ней связаны простой формулой (p = 2“¹).

Столь низкая вероятность делает, по существу, невозмож­ным возникновение жизни в результате чисто случайного соче­тания молекул. Г. Кастлер и многие другие биологи на основании подобных расчетов приходят к выводу о том, что живая структу­ра не может возникнуть в одном случайном акте. Следовательно,

в процессе возникновения жизни случайность и необходимость

_*

взаимосвязаны . Но этот вывод говорит и о другом: количество информации в биологической организации не может оцениваться лишь методами вероятностной теории. Для этого нужно изме­нить само математическое построение теории информации. Био­логия, следовательно, дает новый заказ математике.

Мысль о необходимости создания невероятностных концеп­ций информации следует и из ее приложения к теории познания и логике. Применение статистической теории информации в теории познания и логике столкнулось с тем фактом, что не всякий про­цесс и не всякий результат (форма) научного познания носит ве­роятностный характер. Действительно, если имеется какое-то множество элементов, то выбор этих элементов может происхо­дить случайно, т. е. элемент выбирается наугад. Но элементы мо­гут выбираться и по какому-то заранее заданному строгому плану (или, как еще говорят, детерминированному алгоритму). Следова­тельно, уничтожение неопределенности, т. е. получение инфор­мации, может происходить и в других формах, отличающихся от формы вероятностного процесса. Понятие неопределенности в общем оказывается шире понятия вероятности. Скорее всего, не­определенность есть некоторое отношение элемента, входящего в множество, и числа всех элементов множества. Когда это отноше­ние имеет случайный характер (например, случайный выбор эле­мента из множества), мы имеем дело со статистической теорией информации.

Подобная ситуация с приложениями статистической теории информации отнюдь не является неожиданной. Ясно, что любая теория имеет свои границы применимости. Не случайно К. Шен­нон подчеркивал, что «глубокое понимание математической сто­роны теории информации и ее практических приложений к вопро­сам общей теории связи является обязательным условием исполь­зования теории информации в других областях науки. Я лично по­лагаю, что многие положения теории информации могут оказаться очень полезными в этих науках; действительно, в ней уже достиг­нуты некоторые весьма значительные результаты. Однако поиск путей применения теории информации в других областях не сво­дится к тривиальному переносу терминов из одной области науки

в другую. Этот поиск осуществляется в длительном процессе вы­_*

движения новых гипотез и их экспериментальной проверки» .

Таким образом, К. Шеннон не отрицал возможности появ­ления новых математических теорий информации. Более того, уже в его статье «Математическая теория связи» мы находим идеи того направления невероятностных концепций информа­ции, которое называется сейчас комбинаторным. Комбинатори­ка - это раздел элементарной математики, в котором рассматри­ваются некоторые операции с множествами, состоящими из ко - нечного числа элементов (соединения, сочетания, размещения, перестановки). Пример комбинаторного определения количества информации - I = logn, где n - число элементов во множестве. Формула комбинаторного количества информации по своему ви­ду не отличается от формулы статистического количества ин­формации с равными вероятностями. Поэтому некоторое время комбинаторный подход не выделялся из статистического, по­скольку молчаливо предполагалось, что первый является част­ным случаем последнего. Тем не менее, несмотря на внешнее тождество формул комбинаторного и статистического определе­ния, между ними существует различие.

* Шеннон К. Работы по теории информации и кибернетике.

Это различие сказывается в самой идее теории вероятно - стей и комбинаторики. Для теории вероятностей характерно то, что она математическими средствами изучает случайные про­цессы. Специфика вероятностного количества информации свя­зана со статистическими закономерностями. Статистические со­вокупности могут обладать как конечным, так и бесконечным числом элементов (событий). В комбинаторике же всегда рас­сматривается конечное число элементов множества, причем они не должны подчиняться в общем случае статистическим законо­мерностям. Для комбинаторного количества информации важно лишь количество элементов, мощность множества. Оно характе­ризует уничтожение той неопределенности, которая возникает при выборе одного элемента из некоторой конечной совокупно­сти. Этот выбор может не носить случайного характера.

Существуют другие невероятностные подходы к определе­нию информации, например динамический и топологический.

Под динамическими системами в классическом смысле

имеются в виду механические системы (с конечным числом сте-

*

пеней свободы) . Именно изучение этих систем привело к поня­тию динамических закономерностей, т. е. таких, когда между причиной и следствием существует взаимооднозначная связь.

В математике под динамическими системами понимают любые системы (не только механические), поведение которых определяется системой дифференциальных уравнений с конеч­ным числом действительных переменных. Кроме механических к динамическим системам могут быть отнесены некоторые фи­зические, биологические (например, любой организм), ряд ки­бернетических и других систем.

Основанием для применения теории информации к дина­мическим системам послужили некоторые аналогии динамиче-

* В современной литературе понятие динамической системы употребляется в двух смыслах: во-первых, как противоположность статической, неизменяющейся сис­теме, во-вторых, как противоположность статистической системе. В этом параграфе мы употребляем понятие динамической системы в последнем смысле.

_*

ских систем с так называемым свойством «перемешивания» и случайными процессами. В результате работ А. Н. Колмогорова, В. А. Рохлина, Я. Г. Синая и других ученых эти аналогии были значительно углублены, и удалось получить целый ряд интерес­ных результатов благодаря использованию понятия негэнтро- пии. Так, несмотря на то что статистические системы много­значны, а динамические системы однозначно детерминированы, некоторые свойства последних могут быть охарактеризованы количеством информации. Это значит, что понятие информации не связано со спецификой статистических закономерностей, а отражает определенное свойство, общее для статистических и динамических систем.

В 1955 г. американский математик, биолог и социолог

**

Н. Рашевский , исходя из соображений теоретической биологии, ввел новое определение количества информации, которое названо им топологическим. Топология - это раздел математики, изучаю­щий топологические свойства пространства, т. е. такие, которые остаются неизменными (инвариантными) при взаимооднозначных и непрерывных (так называемых гомеоморфных) преобразовани­ях. Топологические свойства пространства характеризуют как бы

V» W /

его качественный аспект, тогда как метрические свойства (напри­мер, протяженность) выражают его количественный аспект, воз­можность измерения. Первые носят более фундаментальный ха- ₂ рактер, чем вторые. Трехмерность реаль­

ного пространства и одномерность време­ни - пример их топологических свойств.

Для того чтобы показать, в чем за­ключается идея топологического количе - ства информации, рассмотрим простей-

_*

Представление о свойстве «перемешивания» можно получить на примере раз­мешивания кусочка краски, брошенной в стакан с водой. Через некоторое время веще­ство краски равномерно распространяется в воде.

Rashevsky N. Life, Information Theory and Topo1ogy // The Bu11etin of Mathe- matica1 Biophysics.

ший топологический комплекс - граф. Элементарное представ­ление о графе дает, например, обычный треугольник, у которого вершины обозначены точками с цифрами (1, 2, 3). Эти нумеро­ванные точки называются вершинами графа, а линии, исходящие из них, - его ребрами. Количество ребер, исходящих из вершины графа, определяет ее степень. Так, в нашем примере из каждой вершины исходят по два ребра, следовательно, они имеют сте­пень 2. Если в графе, как в рассмотренном выше примере, верши­ны имеют одинаковую степень и смежность (каждая из них смежна двум вершинам с одинаковой степенью), то считается, что они топологически тождественны и количество информации та­кого графа равно нулю. Информационным содержанием обладают лишь графы, вершины которых топологически различны.

Топологическое количество информации отличается от ста­_*

тистического. Как показал Г. Карреман , информационное со­держание соединения графов может оказаться меньше, чем сум­ма информационных содержаний графов, его образующих, и да­же меньше, чем одного из первоначальных графов.

Из статистической теории информации известно, что если две статистические совокупности объединяются в одну слож­ную, то в последней энтропия (и, соответственно, количество информации) увеличивается. Энтропия сложной совокупности будет равна сумме энтропии, если объединяются независимые совокупности, и будет меньше этой суммы, если до объедине­ния между совокупностями существовала статистическая связь (корреляция). Но в статистической теории информации не бы­вает такого положения, что энтропия (и количество информа­ции) в объединенной системе может быть меньше, чем в какой- либо из ее частей. Таким образом, между статистическим и то­пологическим подходом к определению количества информации существует различие.

* Karreman G. Topological Information Content and Chemical Reactions // The Bul­letin of Mathematical Biophysics. Chicago. 1955. Vol. 17. № 4.

По мнению Н. Рашевского, с помощью топологического подхода можно определять информационное содержание состав­ляющих организм молекул. Теория графов позволяет учитывать различное расположение атомов в молекуле. Топология таких молекулярных графов влияет на информационное содержание организма, которое связано, в частности, с такими основными характеристиками жизненных функций, как выбор и усвоение пищи, репродукция и т. д. Полное информационное содержание

организма не является, однако, только топологическим или ста­_*

тистическим. Последователь Н. Рашевского Э. Тракко опреде­лил более сложные формулы количества информации того или иного объекта, которые зависят не только от топологических и статистических, но и от других характеристик.

Наконец, последний из рассматриваемых здесь нестатисти­ческих подходов к определению количества информации был

**

предложен в 1965 г. А. Н. Колмогоровым . Речь идет об алго­ритмическом подходе.

А. Н. Колмогоров отмечает, что чаще всего нас интересует количество информации в индивидуальном объекте А относи­тельно индивидуального объекта В, т. е. взаимное, относитель­ное количество информации. По аналогии с этим вероятностным определением количества информации как функции связи двух систем вводится определение алгоритмического количества ин-

-I [7]

формации .

Не вдаваясь подробно в строгое определение алгоритмиче­ского количества информации, изложим простейшие идеи этого подхода. Предположим, что дана некоторая последовательность букв (или цифр, или иных элементов множества): а, а, а, а... а. Очевидно, что эта последовательность весьма проста и длина программы, полностью восстанавливающей эту последователь­ность, будет мала. Несколько большей окажется длина програм­мы, полностью восстанавливающей последовательность а, b, с, а, b, с, а, b, с и т. д. Эта программа будет содержать большее чис­ло команд (операций), позволяющих полностью восстановить последовательность, чем предыдущая, в силу различий между элементами а, b и с.

Наконец, если имеется последовательность а, b, с, d, е, к, l, m и т. д., где каждая следующая буква новая, то ее программа со­стоит из такого числа команд, которое не может быть меньше, чем число элементов этой последовательности. Таким образом, при помощи длины программы можно выражать «сложность» (алгоритм) последовательности. Алгоритмическое количество информации, отмечает А. Н. Колмогоров, является как бы мини­мальной длиной программы, которая при заданном А (алгорит­ме) позволяет получить В (последовательность).

Мы кратко рассмотрели некоторые невероятностные подхо­ды к определению количества информации. Каждый из упомяну­тых подходов обнаруживает нечто общее со статистическим подходом, но все же отличается от него. Общее между ними со­стоит в том, что они изучают переход от неопределенности к оп­ределенности, хотя особенности конкретного перехода опреде-

Л 1 ' »_/ 1

ляются спецификой той или иной структуры. Единой формулы количества информации пока не существует. Все же можно от­метить, что объединение статистического, динамического, топо­логического и комбинаторного подходов возможно на базе тео­ретико-множественной математики. Алгоритмическое же опре­деление понятия количества информации, по-видимому, может быть обосновано с позиций конструктивного направления в ма­тематике, так как сторонники этого направления признают ре­альными лишь такие объекты, которые или могут быть построе­ны, или для построения которых указан соответствующий метод.

На основе всего изложенного можно присоединиться к мнению А. Н. Колмогорова о том, что «информация по своей

природе - не специально вероятностное понятие» (выделено

_*

мной. - А. У.) .

В настоящее время предполагается изменение соотношения между теорией информации и теорией вероятностей. Оказывает­ся, возможно не только определение количества информации без вероятности, но и определение вероятности посредством коли­чества информации.

Такую попытку «информационного» обоснования теории вероятностей предпринял, например, А. Н. Колмогоров, отправ­ляясь от предложенного им алгоритмического определения ко­личества информации.

Новое обоснование теории вероятностей посредством тео­рии информации предложили также польские ученые - физик Р. С. Ингарден и математик К. Урбаник. В своей статье «Инфор­мация без вероятности» они дают философско-методологическую интерпретацию своей концепции: «Возможность изменения до сих пор общепринятого направления дедукции кажется интерес­ной не только с чисто логической и математической точки зрения, но также с точки зрения философии математики и физических представлений. В самом деле, информация кажется интуитивно более простым и более элементарным понятием, чем понятие ве­роятности. Она дает более грубое и общее описание некоторых физических и других ситуаций, нежели вероятность. Следова­тельно, информация представляет более примитивную ступень знания, чем вероятность. Далее, принципиальное отделение по­нятий вероятности и информации кажется удобным и полезным с точки зрения статистической физики. В физике превалируют

* Колмогоров А. Н. Проблемы теории вероятностей и математической статисти­ки // Вестн. АН СССР. 1965. № 5. С. 95.

ситуации, где информация известна (например, энтропия неко­торой макроскопической системы) и может быть измерена с вы­сокой степенью точности, в то время как распределение вероят­ностей неизвестно и практически не может быть измерено вовсе (особенно когда степени свободы такой системы имеют порядок

23

10 ). Наконец, можно заметить, что новое аксиоматическое оп­ределение информации свободно от несущественной связи с ве­роятностью, делает более ясным путь дальнейшего обобщения

_*

этого определения» .

Р. С. Ингарден отмечает, что в их концепции понятие ин­формации выступает как более фундаментальное или по крайней мере понятия вероятности и информации могут рассматриваться как принадлежащие к двум различным уровням абстракции и дающие два различных разреза действительности [8].

В классическом изложении теория вероятностей показыва­ет, как из случайных («микроскопических») величин формиру­ются неслучайные. Здесь в математическом плане конкретизиру­ется превращение случайного в необходимое.

В предлагаемом построении теории вероятностей необхо­димость и случайность меняются местами, отражая тот факт, что ни одна из них не является первичной, ни одна из них не доми­нирует в реальной действительности.

Новый способ определения вероятности на основе коли­чества информации означает «макроскопический» подход вме - сто традиционного «микроскопического». Такой способ дал бы

вместо статистической - информационную термодинамику, фи­*** ■ ,

зику и т. д. Если ранее использовался своего рода «алго­ритм» перехода от микромира к макромиру, то информацион­ный подход может дать «обратный алгоритм» - перехода от макромира к микромиру.

Здесь невозможно рассмотреть все методологические во­просы, которые возникают в ходе развития невероятностных подходов к определению количества информации. И хотя поня­тие информации (в количественном аспекте) длительное время основывалось на понятии вероятности, мы видим, как постепен­но происходит изменение взглядов на соотношение понятий ин­формации и вероятности, на их роль как в математических, так и в естественно-научных теориях.