<< Пред. стр. 3 (из 14) След. >>
х1[0]=0; strcat(х1,&х1[1]); /* D1 */strcat(xl,y); /*xl+y*/
l=strlen(xl);x1[l]=0; /*Dn */
l=strlen(xl);x1[l]=0; /*Dn */
strcat(x1,x); /* x1+x */
1=strlen(xl);xl[l]=0; /*Dn */
1=strlen(xl);xl[l]=0; /*Dn */
strcpy(z,x1); /* возвращение управления */
return;
}
При желании приведенную программу можно подвергнуть автоматической оптимизации, которая приведет к введению циклов за счет поглощения одинаковых строк, например:
sr_sxema(x,y,z) char x[ ] y[ ] z[ ];
{
int j; /* рабочая переменная */
char xl [80]; /* рабочая переменная */
strcpy(xl,x); /* подготовка к работе */
xl[0]=0;strcat(xl,&xl[l]); /*D1 */
strcat(xl,y); /*xl+y*/
for(j=0;j<2;j++) { 1=strlen(xl); xl[I]=0;} /* Dn */
strcat(xl,x); /*xl+x*/
for(j=0;j<2;j++) { 1=strlen(xl); xl[I]=0;} /* Dn */
strcpy(xl); /* возвращение управления */
return;
}
Ничто не мешает предложить аналогичный подход для моделирования ситуаций в биологическом, социальном и компьютерном мирах.
Анализируя ситуации социальной жизни людей, можно ввести ЭД типа:"бежать", "идти", "сидеть", "ехать", "говорить", "рождаться", "умирать", "повеситься" и т.п. Можно даже ограничить это множество, скорректировав его действиями "не убий", "не возжелай".
Для компьютерной программы в качестве ЭД могут выступать операции:
"писать", "читать" и т.д.
Понятно, что подобные СР-сети не являются панацеей от всех бед и не предлагают универсальной эвристики, пригодной для всех случаев жизни. Они могут стать лишь еще одним инструментом в руках художника, рисующего собственную жизнь.
Серьезным недостатком изложенного подхода является его "непробиваемая" целеустремленность- стремление на каждом шаге увеличивать значение целевой функции. В приведенных примерах подобный путь привел к успеху, но это не означает, что так будет всегда; хотя, с другой стороны, целевой функцией, как, впрочем, и множеством ЭД всегда можно варьировать.
Пути улучшения ситуации видятся в направлении распараллеливания процессов. Например, если, решая выше приведенную задачу по обработке символьных строк, допустить параллельность в формировании СР-сети, т.е. наращивать сеть не только по единственному пути максимального увеличения значения целевой функции, а по нескольким направлениям, при этом разрешая использовать на каждом этапе все имеющиеся на данный момент результаты по всем возможным направлениям, то шансы найти выход в лабиринте решения задачи могут быть значительно повышены, см. следующий рисунок:
Обобщить сказанное и подвести итог представляется возможным в виде следующей схемы:
1. Элемент системы является простейшей неделимой частицей- формальным нейроном.
2. Каждый нейрон способен к одному элементарному действию из некоторого наперед заданного множества, куда входит действие - "ничего не делать". В общем случае в множество ЭД могут быть включены как арифметические операции, так и специальные алгоритмы, мемо-функции. Наличие ЭД "ничего не делать" равносильно отсутствию нейрона;
3. На начальном этапе система представляет собой множество нейронов с ЭД "ничего не делать", на каждый из которых может оказываться воздействие со стороны нескольких входов и одного выхода. Разницу между получаемым выходным значением и требуемым выходным значением назовем напряжением;
4. Считаем, что возникшее напряжение должно компенсироваться изменением у нейронов присущих им ЭД. Изменение ЭД "ничего не делать" на любое другое приводит к рождению нейрона для системы. Предположим, что нейронов должно возникать ровно столько, сколько необходимо для компенсации напряжения;
5. Считаем, что при рождении нейронов выбирается нейрон с тем ЭД, которое максимально способствует минимизации напряжения. Значение напряжения, которое компенсируется рожденным нейроном, назовем жизненной силой нейрона; считаем, что если на нейрон действует напряжение, превосходящее его собственную жизненную силу, то нейрон гибнет.
Таким образом, было показано, что в основе моделей, предназначенных для исследования серьезных качественных изменений работы системы, с успехом можно использовать саморазрушающиеся и самовозрождающиеся нейросети. Были даны основные определения, предложен механизм и приведены необходимые примеры, достаточные, на мой взгляд, для самостоятельной практической реализации изложенного подхода к различной областям жизни.
Новизна и эффективность данного подхода построения самообучающихся систем определяется применением для корректировки имеющегося знания не только коэффициентов ряда. с помощью которого апроксимируется неизвестная функция, а в первую очередь, операций между компонентами числового ряда с последующей корректировкой коэффициентов. Подобный подход позволяет значительно упростить схему работы самообучающейся системы в том случае, когда эта система используется для выделения в потоке данных аналитических зависимостей, построенных на базе таких действий, как сложение, вычитание, умножение и деление. При необходимости перечень действий всегда может быть расширен и дополнен не только известными математическими операциями типа логарифмирования и возведения в степень, но и алгоритмами, включающими реализованные программно мемо-функции, а также сам алгоритм самообучения. В этом случае речь может идти уже не столько о классическом программировании, сколько о написании сценария или задании сюжета произведения.
В этой связи интересно посмотреть на аналогии, прослеживающиеся в современных технологиях проектирования программного обеспечения для ЭВМ, и, в частности, на объектно-ориентированное программирование в среде Windows, в котором объекты рождаются, наследуя свойства, и умирают, возвращая память.
Цитируется по книге Э.Телло "Объектно-ориентированное программирование в среде Windows (М.: "Наука-Уайли", 1993):
"Объектно-ориентированное программирование - это способ программирования, обеспечивающий модульность программ за счет разделения памяти на области, содержащие данные и процедуры. Области могут использоваться в качестве образцов, с которых по требованию могут делаться копии.
Весьма удобно рассматривать объекты как попытку создания активных данных. Смысл, вкладываемый в слова "объект представляет собой активные данные", основан на объектно-ориентированной парадигме выполнения операций, состоящей в посылке сообщений.
В посылаемых объекту сообщениях указывается, что мы хотим, чтобы он выполнил. Так, например, если мы хотим вывести на экране строку, то мы посылаем строке сообщение, чтобы она изобразила себя. В этом случае строка - это уже не пассивный кусок текста, это активная единица, знающая, как правильно производить над собой различные действия".
Цитируется по книге П.Эйткена и С.Джерола "Visual C++ для мультимедиа (К,: "КОМИЗДАТ", 1996):
"Любое приложение Windows все время активно взаимодействует с операционной системой. Приложение и система, как молодые влюбленные, с огромной. частотой обмениваются множеством сообщений. Каждый раз, когда в системе Windows что-нибудь происходит, она посылает сообщение, на которое ваше приложение может отреагировать тем или иным образом. Часто такое сообщение вызывает целую лавину изменений!
...Когда вы определяете новый объект, в большинстве случаев вы просто порождаете его из уже существующего объекта с необходимыми вам свойствами. Новый объект сразу после создания уже имеет ("наследует") все свойства и возможности старого объекта. Таким образом, вы не тратите время на изобретение велосипеда. После создания нового объекта вы только дополняете его код новыми функциями, которые вам необходимы, -все старые функции и свойства у него уже присутствуют.
Любое действие пользователя во время выполнения Windows-программы вызывает генерацию сообщения.
Любой объект в программе для Windows обладает способностью реагировать на сообщения".
3.2. Человечество как СР-сеть
Смелые мысли играют роль передовых шашек игре: они гибнут, но обеспечивают победу.
И.Гете
Перелистывая страницу за страницей, вдумчивый читатель может задать примерно следующий вопрос: "Если придерживаться принцип масштабируемости, верить в информационное единообразие мира, то почему бы тогда не посмотреть на человечество как на самообучающуюся СР-сеть Человечество в рамках этой СР-сети существует тысячелетия и достигло скажем мягко, определенных успехов. Почему нельзя спроектировать подобную СР-сеть для аккумуляции знаний? Построенная на перенесенных из мира людей принципах подобная техническая система может стать самой эффективной самообучаемой конструкцией".
Вопрос правомочен. Действительно, зачем изобретать велосипед, когда проще взять основные принципы информационного взаимодействия людей e перенести на техническую самообучающуюся СР-систему. Проблема здесь в том, как сформулировать эти основные принципы. Для того чтобы было с чего начать, постулируем:
1) все множество нейронов разбито на два подмножества: нейроны-м и нейроны-ж, которые перемешаны друг с другом;
2) в том случае, если уровень взаимодействие нейронов-м с нейронами-ж превышает некоторую наперед заданную величину, происходит рождение нового нейрона;
3) жизненная сила вновь рожденного нейрона определяется уровнем взаимодействия нейронов;
4) пол рожденного нейрона определяется случайным образом;
5) в том случае, если уровень взаимодействия однополых нейронов превышает некоторую наперед заданную величину, происходит гибель нейрона, обладающего минимальной жизненной силой.
Так выглядит простейшая модель в самом первом приближении. В своей реализации она чем-то напоминает известную игру "Жизнь", придуманную Джоном Конвеем, на процесс протекания которой можно, как на огонь, воду и работающих людей, смотреть бесконечно. Безусловно, данная модель может быть уточнена, развита, подправлена множеством ограничений. Например, в качестве источников напряжения, рождающего и уничтожающего нейроны, можно предложить для рассмотрения эмоции, чувства: любовь как созидательную силу и ненависть как разрушающую силу.
Важно, что похожесть присутствует. Насколько она искусственна - это другой вопрос; он уже из серии вопросов Т.Мана: "Цветы изо льда или цветы из крахмала, сахара и клетчатки - то и другое природа, и еще неизвестно, за что природу больше хвалить...?" - а так ли это важно? Но вот заданный вопрос: "Как измерить эффективность данной структуры?" - остается. Услышав его, мы робко спрятали голову под крыло, склеенное из аналогий, как из перьев, и начали генерировать модели, прекрасно понимая бесперспективность прямого ответа. Действительно, как может хомяк, живущий в банке, оценить собственную эффективность (в данном случае - хотя бы полезность) для своего хозяина. И вот он, это хомяк, строит зеркала из наделанных им луж и пристально выискивает всплывающие искаженные образы до тех пор, пока перед ним не начнут проходить все его прошлые и будущие жизни. Но это ли есть ответ на вопрос?
Применяя модель СР-сетей к исследованию событий, потрясающих человечество, сразу следует оговориться и провести черту между тем, что дозволено тыкать, словно щупом, данным инструментарием, и тем, к чему его бесполезно прикладывать, но очень хочется.
Дозволено тыкать в направлении информационного хранилища человечества, его численности и информационных коммуникаций.
Дозволено тыкать в направлении важнейших проблем, связанных с применением ко всему человечеству и его отдельным частям информационного оружия с целью выяснения разрешимости этих проблем.
Очень хочется попробовать применить СР-сети для определения судьбы тех или иных культур.
Очень хочется понять адептом какого-такого нового знания выступают инфекции и войны, которые словно скальпель хирурга вырезают целые структуры, не заботясь о том, здоровы они или больны. Где та граница, которая проходит между пока живыми и уже мертвыми?
У К.Симонова эта граница видится в виде вынужденной остановки: "Ни полковой комиссар из политотдела армии, ни подполковник из отдела формирования, ни Шмаков, ехавшие в голове и середине колонны, ни замыкавший колонну Данилов - никто из них не знал, что уже несколько часов тому назад и на юге и на севере от Ельни немецкие танковые корпуса прорвали Западный фронт и, давя наши армейские тылы, развивают прорыв на десятки километров в глубину. Никто из них еще не знал, что вынужденная остановка у моста, разрезавшая их колонну на две части, теперь ехавшие друг за другом с интервалом в двадцать минут, что эта остановка в сущности, уже разделила их всех. или почти всех. на живых и мертвых." (К.Симонов. "Живые и мертвые").
Позже этой границей станет атомный реактор, еще позже место проживания.
Никто из моих соотечественников не знал, работая в промышленности и сфере образования некоторых союзных республик СССР, что тем самым они пересекли ту границу, которая обрекает их потомков на гибель, скитания и нищету.
Как далеко та узловая точка, в которой выбор меньшего зла вдруг обернется в дальнейшем полным и безоговорочным поражением?
По каким критериям информационной самообучающейся системе выбирать дорогу на перепутье? Пытаться минимизировать сегодняшнюю или завтрашнюю боль, пытаться максимизировать сегодняшнюю или завтрашнюю радость?
Отдельные люди и целые государства на протяжении истории человечества неоднократно пытались создать универсальный критерий выбора, часто внося этот критерий в пространство целей системы. А цель уже потом сама вела за собой. За примерами далеко ходить не надо: кто-то живет для себя (максимизация сегодняшнего удовольствия), кто-то - для детей, кто-то - для страны, а есть и такие, кто кует счастье всему человечеству.
Выбирая сегодняшний поступок, информационная система явно или бессознательно. но просчитывает его неизбежные последствия во временном интервале действия доминирующей цели.
Последствия, согласно логике СР-сетей, прогнозируются только во временных интервалах действия цели. Понятно, что если активная цель предполагает реализоваться в самые ближайшие часы, то данной цели нет никакого дела то того, каким образом текущий поступок отразится на состоянии системы завтра или через неделю.
И если цели, для которых реализация - это дело самого ближайшего будущего, полностью подчинят себе информационную самообучающуюся систему, то она в узловой точке своего бытия, конечно, выберет меньшее зло для себя сегодняшней просто потому, что она не видит себя в дне завтрашнем - нет в завтрашнем дне цели, способной формировать в сегодня иные поступки.
www.kiev-security.org.ua
BEST rus DOC FOR FULL SECURITY
3.3. Проблема останова для человека
Мы семена живущего растения, и, как только мы достаем зрелости и сердца наши переполняются, ветер подхватывает час и рассеивает.
К.Дхебраи
Предполагая в основе базового принципа обучения человека гибель нейронов и/или безвозвратную потерю ими отдельных функций (Р-сети), человек по умолчанию ставится на ступень ниже придуманного им самим интуитивного понятия алгоритма, более того, он потенциально всегда будет уступать созданным им же самим телекоммуникационным вычислительным средам. Почему это так? Хотя бы потому, что из всего возможного множества схем обучения самому человеку природой выделено лишь небольшое подмножество, в рамках которого ему и позволено резвиться. Причем заранее известно, что смогут "натворить" системы, работающим по этим алгоритмам, а что нет.
Так может быть на основании знания о возможностях системы и следует судить о ее предназначении?
Для проверки сказанного предлагается взглянуть на ту часть информационной самообучающейся системы под названием Человек, которая интуитивно соответствует понятию алгоритма, т.е. машине Тьюринга.
Кратко напомним основные термины и определения. Неформально машина Тьюринга представляет собой:
1) ленту- бесконечную последовательность элементарных ячеек, в каждой из которых может быть записан символ из некоторого фиксированного конечного алфавита;
2) головку, способную перемещаться по ленте влево и право, а также выполнять операции чтения и записи в ячейки ленты;
3) программу, состоящую из конечного числа состояний, одно из которых выделено как начальное, а другое или несколько специально оговоренных состояний выделены как заключительные каждому незаключительному состоянию ставится в соответствие определенная инструкция, т.е. что надо делать головке, если она наблюдает соответствующий символ, а программа находится в соответствующем состоянии.
В результате выполнения инструкции могут измениться состояние программы, месторасположение головки и наблюдаемый головкой символ на ленте.
Проблема останова допускает несколько формулировок [92]:
1) завершится ли выполнение программы, если отсутствуют данные?
2) завершится ли выполнение программы, когда в качестве входных данных выступают программы?
3) завершится ли выполнение программы для данных X?
Кроме сформулированной выше проблемы остановки для машины Тьюринга существуют и другие проблемы, являющиеся неразрешимыми, в частности, проблема эквивалентности программ, т.е. невозможно в полной общности решить, эквивалентна ли программа Р программе Q.
Никто, наверное, не будет спорить, что подобная алгоритмическая часть имеет место быть у системы Человек. Глядя в свое прошлое, любой из нас, как правило, способен формализовать совершенные им поступки в виде некоторого алгоритма: на вход подана сырая, холодная погода и еще что-то, внутренне состояние системы было тоскливым и еще каким-то, в результате всего этого было сделано то-то и то-то. Здесь и далее предполагается, что и не только интеллектуальная деятельность человека, но и физическая его составляющая, включающая в себя замену клеток, их функционирование и т.п., базируется на понятии алгоритма.
Проблема останова машины Тьюринга в общем виде неразрешима, т.е. проще говоря, нельзя для любой программы (алгоритма), поданной на вход машины Тьюринга, сказать, остановится она или нет.
Но если человек сложнее создаваемых им самим алгоритмов, то почему проблема останова для человека разрешима?
Все люди смертны, все люди останавливаются в своей работе над бесконечной лентой жизни. А для машины Тьюринга эта проблема неразрешима! Как же так?
Если придерживаться математической логики и того факта, что все люди смертны, то получится, что алгоритмическая часть человека являет собой лишь конкретное подмножество из всего возможного множества алгоритмов, на которое рассчитана машина Тьюринга, т.е. человек - жалкий частный случай в мире информационных самообучающихся систем.
Действительно, если процесс обучения человека организован на принципе гибели избыточных элементов (принцип Р-сети), то тогда алгоритмическая часть системы Человек представляет собой ограниченное подмножество из всего возможного множества обучающих алгоритмов. При этом, так как множество избыточных элементов, используемое для алгоритмической деятельности, постоянно сокращается, то проблема останова для человека становится разрешимой. Отсюда вывод - все люди смертны.
Понятно, что этот вывод сделан при соответствующих исходных данных, заключающихся в том, что нейроны головного мозга при жизни человека не способны восстанавливаться в таком же объеме, в каком они гибнут.
Если же попытаться посмотреть на Человечество, как на информационную самообучающуюся систему, и, в частности, на применимость к нему проблемы останова, то здесь будет более богатое множество обучающих алгоритмов (обучение осуществляется на принципах рождения, гибели, изменения связей между элементами), т.е. можно предположить, что алгоритмическая часть системы Человечество совпадает с интуитивным пониманием алгоритма машины Тьюринга, а это значит, что проблема гибели Человечества относится к алгоритмически неразрешимым проблемам.
Решая поставленную задачу в общем виде, можно только констатировать, что Человечество может погибнуть, а может и не погибнуть - ответить на этот вопрос, исходя из истории Человечества, невозможно!
Для астрологов и всевозможных предсказателей вывод об алгоритмической неразрешимости проблемы предсказания судьбы человечества не столь опасен и не может отразиться на их доходах и славе. У них есть неубиенный аргумент, заключающийся в том, что любое предсказание нелогично по самой своей природе, а слова приходят в уста пророка сами собой, не опираясь на известные науке причинно-следственные связи - в этом нет нужды.
И это правильно.
Вполне допустимо, что некто интуитивно видит весь завтрашний день. Проблема для этого некто заключается в том, что свое видение он не в состоянии переложить на язык, доступный окружающим его лицам.
Из непрерывного медитационного пространства в мир дискретных естественных языков никогда не было и не будет однозначного взаимосоответствия.
Кроме того, даже теоретически совершенно не понятно, насколько полно взаимоотношение двух информационных самообучающихся систем, обладающих разными знаниями. При этом знания у них постоянно меняются. Одна познает квантовую механику, а другая - систему экономических взаимоотношений производителей товаров.
Как утверждал Д.Дидро: "Разве тот, кто вас слушает, обладает лучшими данными, чем тот, кто говорит? Отнюдь нет. А потому едва ли и два раза на день во всем большом городе вас понимают так, как вы говорите".
А В.Гете добавил к сказанному: "Я утверждаю, что человек не может познать даже самого себя. Никто и никогда не сможет смотреть на себя только как на чистый объект познания; самопознание ни к чему путному не приводило".
Говоря техническим языком, Дидро утверждает, что все информационные самообучающиеся системы не могут быть одинаковыми, поэтому между ними не может быть 100% понимания, а Гете заявляет, что и 100% самопознания быть не может, ибо то, что система пыталась познать мгновение назад, сейчас уже успело претерпеть изменение.
3.4. Пример познания через рождение и гибель
И голос был сладок, и луч был тонок
И только высоко, у царских врат, Причастный тайнам, - плакал ребенок
О том, что никто не придет назад.
А.БЛОК
Рассмотрим пример функционирования системы, построенной исключительно на принципах самовозрождения и самоуничтожения,- СР-сети. Первоначально исследуем применение этого подхода к определению функциональной зависимости между входными и выходными числовыми данными. А затем покажем, в чем приведенный пример аналогичен событиям социального и биологического мира.
Исходные данные. Задана функциональная зависимость вида
z=x0x1 +3x1 , (3.3)
т.е. на вход первоначально "пустого" пространства одновременно подаются значения x0 и х1 а на выход подается значение z. Требуется "заполнить" это "пустое" пространство, т.е. обучиться распознавать функциональную зависимость.
Например, пусть имеем следующую последовательность входных/выходных данных:
1) x0= 600, x1= 300, z = 180900;
2) x0= 2, x1= 5, z = 25;
3) x0=4,x1=l, z=7;
4) x0= 0, x1= 0, z = 0;
'5) x0=20,x1=l, z=23;
6) x0= 300, x1= 600, z = 183000,
По первой строке входных/выходных данных (согласно приведенному выше алгоритму) изначальная пустота будет заполнена структурой, показанной на рис. 1.7.1 (результат первого этапа обучения).
Рис. 1.7.1. Структура системы после первого этапа обучения.
Рожденные три новых элемента имеют следующую жизненную силу (жз):
179400, 600, 300. В силу значительной абсолютной величины все последующие входные/выходные данные, включенные в этот пример, не в состоянии будут изменить или уничтожить рожденные элементы. Короче говоря, используемые в примере данные не смогут заставить возникшую структуру забыть свои знания.
Однако на втором этапе обучения (вторая строка) система уже не будет так хорошо угадывать ответ. Возникшая ошибка станет больше допустимой. Переобучиться за счет уничтожения нейронов не получится. Остается породить новые структуры, которые как в кокон заключат в себя старую систему. На втором этапе обучения по второй строке данных получим структуру рис. 1.7.2.
Рис. 1.7.2. Структура системы после второго этапа обучения.
На входной вопрос из х=2 и у=5 данная система дает абсолютно правильный ответ, но только на этот вопрос она правильно и отвечает. Старые знания локализованы, но не уничтожены, и при необходимости они частично или полностью могут быть задействованы.
Так, например, каждый живущий, не мудрствуя лукаво, способен оживить воспоминания о казалось бы давно забытых ситуациях, которые вспоминались в трудную минуту, подсказывая решение.
На третьем этапе система приобретет еще более экзотический вид за счет частичного использования локализованных данных (рис. 1.7.3).
Рис. 1.7.3. Структура системы после третьего этапа обучения. Четвертый этап не изменит систему, а значит, ничему и не научит.
На пятом этапе первоначально обучение пойдет за счет уничтожения "мусора". Плохо "держащиеся за жизнь" нейроны 4 и 5 с жизненной силой, меньшей внешнего напряжения, будут уничтожены. Два последних нейрона погибнут. Система придет к виду рис. 1.7.1.
После очередного воздействия структура приобретет вид рис. 1.7.4.
Рис. 1.7.4. Структура системы после пятого этапа обучения.
В том случае, если бы требования по точности работы системы у нас были более "мягкими", естественно, такого длинного уточняющего "хвоста" (элементы 5 и 6) возникнуть не могло. Элементы 5 и 6 имеют незначительную жизненную силу, в условных единицах равную 1, и поэтому - нежизнеспособны. Любой новый этап обучения закончится их гибелью, что и произойдет на шестом этапе обучения, который начнется с уничтожения последних элементов системы. Процесс уничтожения, начавшись от 6-го элемента, будет остановлен только первым, жизненная сила которого позволит противостоять все возрастающему внешнему напряжению. Именно с первого элемента затем и начнется возрождение системы до тех пор, пока она не примет окончательный вид, который устроит все используемые в примере входные/выходные данные (рис. 1.7.5).
Рис. 1.7.5. Структура системы после шестого этапа обучения.
Текст программы, реализующей описанный выше алгоритм, приведен в работе [77].
Для рождающихся схем всегда может быть предложен метод, переводящий эти схемы в аналитические выражения. Приведенным выше рисункам 1.7.1-1.7.5 соответствуют следующие аналитические выражения:
z=x1x0+x0+x1 (рис 1.7.1);
z=x1x1 (рис 1.7.2);
z = x1x0+x0-x1 (рис 1.7.3);
z = x0+x1+2x1 (рис 1.7.4);
z=x0x1+3x1 (рис 1.7.5).
Что касается мира биологических инфекций, то к нему все сказанное имеет еще более непосредственное отношение. Если организм сумел самостоятельно выкарабкаться в ситуации тяжелого инфекционного заболевания в детстве, то потом данного вида инфекция ему уже не страшна. На этом принципе построена вся профилактическая медицина.
Событие, связанное с максимальным внешним напряжением, в памяти будет закреплено навечно. Можно пытаться разрушать эту память, используя искусственные приемы ("Дианетика"), но что это даст? Где гарантия, что новое - пришедшее на смену, будет более эффективным, чем хорошо забытое старое. Природа определила для себя критерий выбора значимых событий. Насколько он далек от описанного в данной работе - судить сложно. Задача автора скромнее: показать, как этот выбор возможен, и попытаться объяснить то, что, как ему кажется, объясняется на сегодняшний день довольно просто сегодняшними средствами.
Во введении к данной работе уже говорилось о времени и избыточности. Обучение системы на принципе гибели ее элементов требует минимального времени, но значительной избыточности этих самых элементов. Чем больше "лишних" элементов, которые можно отстрелять без ущерба для системы, тем точнее будет результат и тем больше шансов у самообучающейся системы получить пятерку на экзамене.
Обучение системы на принципе рождения элементов требует времени и только времени. Каждое рождение- это решение сложнейшей задачи: где родиться, когда, в каком окружении? И чем больше элементов, тем сложнее становится задача. При стремлении количества взаимодействующих элементов системы к бесконечности время тоже стремится к бесконечности и тем самым останавливается.
В свете сказанного хотелось еще раз подчеркнуть, что в информационном мире, как и в любом другом, ничего, как говорится, за так не происходит. За любое знание всегда надо расплачиваться: либо собственным телом, либо собственным временем.
В предыдущем разделе была сделана попытка посмотреть на человечество как СР-структуру. За несколько тысячелетий от миллионной численности разбросанных по всему миру племен возникла по сути своей совершенно новая структура, именуемая Человечеством. В этой структуре несколько миллиардов элементов и еще больше информационных связей. И здесь появление нового элемента, появление нового ребенка становится все более сложной задачей. Самообразование системы за счет роста численности практически завершилось. Казалось, человечество исчерпало себя. Но на помощь пришли компьютеры и Интернет. Пусть нет роста числа элементов, но по-прежнему увеличиваются информационные связи. И это спасает. И будет спасать какое-то время.
Однако мир не стоит на месте. Он торопится. Торопится потому, что само время поиска ответа порой является частью этого самого ответа. Самая изысканная и вкусная пища умершему от голода уже не нужна. Неверный ответ, выданный вовремя, иногда правильнее опоздавшей истины. Поэтов там, где не хватает информационных коммуникаций и времени, начинается обучение по принципу гибели элементов.
3.5. Обучение без учителя
Пусть головы моей рука твоя коснется
И ты сотрешь меня со списка бытия,
Но пред моим судом, покуда сердце бьется.
Мы силы равные, и торжествую я.
Еще ты каждый миг моей покорна воле,
Ты тень у ног моих, безличный призрак ты;
Покуда я дышу - ты мысль моя, не более
Игрушка шаткая тоскующей мечты.
А.А.Фет
В предыдущих разделах был рассмотрен процесс обучения системы с учителем. В то время, когда на вход системы окружающая среда оказывала воздействие значениями входных переменных х и у, учитель, предъявлял на выход значение z. При этом процесс обучения по каждому обучающему набору (x,y,z) состоял из двух этапов:
1) уничтожение нейронов, которое происходило, если возникающее напряжение превышало жизненную силу нейронов;
2) рождение нейронов, способных выполнить операцию d, исходя из требования минимизации целевой функции
min(z-d(x,y))2 .
d
В результате, учитывая, что d может принимать значения только из некоторого фиксированного множества значений, минимизация целевой функции по d осуществлялась путем простейшего перебора.
Теперь рассмотрим ситуацию, которая может возникнуть при отсутствии учителя у системы. Отсутствие учителя предполагает, что значение z не определено. Когда выходной результат не известен, система может предположить следующее:
1) правильный ответ - это отсутствие ответа, т.е. ответа не должно быть вообще;
2) правильный ответ выходит за возможности системы и поэтому его не должно быть;
3) ответ принадлежит к множеству выходных значений системы.
Получается, что при отсутствии учителя система должна минимизировать целевую функцию уже по двум параметрам (z и d):
min (z - d(x,y))2 .
d,z
Безусловно, что, если возможное z принадлежит к множеству выходных значений системы, то минимизация только по z является более привлекательной, так как не требует от системы именно в данный момент никакой дополнительной внутренней перестройки. Правда, при этом неизвестно, как этот ответ из серии "сказал- не подумал" в дальнейшем отзовется на судьбе системы.
Исследуем процесс обучения без учителя для СР-сетей, исходя из следующих начальных волюнтаристических предположений:
1) система обучена на некоторой обучающей выборке, т.е. количестве элементов СР-сети больше ноля;
2) на вход поступают значения, с которыми в процессе обучения система не сталкивалась;
3) получаемый выходной результат выходит из диапазона значений, в рамках которого работает система. Образно говоря, "сказать хочется, а слов нет".
Какие возможны в данной ситуации варианты поведения системы?
Вариант 1
1. Признать полученный результат неверным.
2. В качестве выходного результата определить действие "ничего не делать" или пустое (нулевое) значение, которое всегда принадлежит множеств выходных значений.
3. Осуществить процесс обучения (разрушение и генерацию нейронов) для поступивших входных значений и выходного значения, определенного в п. 2. Таким образом, система самостоятельно от неизвестной ей схем] "обучение без учителя" переходит к известной схеме "обучение с учителем".
Вариант 2
1. Признать полученный результат неверным.
2. В качестве выходного результата определить значение, наиболее близкое к полученному результату, но принадлежащее множеству допустимых для выходного результата значений.
3. Осуществить процесс обучения (разрушение и генерацию нейронов для поступивших входных значений и выходного значения, определенно в п.2.
Вариант 3
1. Признать полученный результат правильным. Невозможность его реализации объяснить несовершенством системы по генерации соответствующих выходных значений. Например, система неспособна мгновенно взлететь в небо или закопаться в землю. Но другого решения не искать, а попытаться реализовать полученное путем изменения собственных "физических" возможностей или путем разрушения ограничений на диапазон выходных значений.
Вариант 4
1. Признать полученный результат правильным. Невозможность его реализации объяснить несовершенством системы, ее неспособностью к генерации соответствующих выходных значений.
2. Выработать такой выходной результат, который, изменяя окружающую среду, позволял бы избежать в дальнейшем поступления на вход подобных входных значений.
3. Осуществить процесс обучения (разрушение и генерацию нейронов) для поступивших входных значений и выходного значения, определенного в п.2.
Что интересно, выбор того или иного варианта поведения системы во многом определяет черты ее характера, если, конечно, проводя аналогию с живым существом, можно это назвать чертами характера, например:
смирение- присущая системе ориентация в большей степени на первый вариант поведения; упрямство- ориентация на третий вариант и т.п. Таким образом информационная система начинает приобретать индивидуальность.
Глава 4. ЭВМ, СР-сети и эмоции как
критерии истинности (возникновение нового знания)
Как на грозный Терек выгнали казаки,
Выгнали казаки 40 тысяч лошадей.
И покрылся берег, и покрылось поле
Сотнями порубленных, пострелянных людей
Любо, братцы, любо...
Материал данной главы находится несколько в стороне от протоптанной ранее столбовой тропинки. По своей форме он больше напоминает антракт в театре, когда публику пытаются развлечь второстепенными актерами исключительно для того, чтобы вся толпа не ринулась в маленький буфет. В этом искусственном антракте попытаемся построить и продемонстрировать модель, в рамках которой можно было бы объяснить те особенности информационных систем, которые на первый взгляд ниоткуда не следуют. Действительно, зачем живым информационным системам типа человека нужны эмоции, радости и печали? То ли они (эмоции) представляют собой неотъемлемую атрибутику всего живого, то ли это свойства исключительно самообучающихся систем, и биологическая природа здесь вторична? Попробуем исследовать эту проблему в рамках обобщенной модели СР-сетей. Безусловно, любая модель в чем-то ущербна. При этом зачастую ущербность в деталях компенсируется повышением уровня абстракции, что позволяет исследователю перейти к философскому осознанию анализируемого явления. Здесь мы и займемся подобным философским осознанием.
В главе сделана попытка определить критерии истинности при выборе самообучающейся системой той или иной СР-сети. По сути это попытка ответить на вопросы типа: Чем руководствуется система при выборе своей собственной системы координат среди нескольких равновозможных ? Что происходит, когда сталкиваются несколько целевых функций? Насколько значима логика при информационном взаимодействии самообучающихся систем? И логикой ли меряют системы меру своей и чужой некомпетентности. Всеми этими вопросами и объясняется выбор эпиграфа.
Для начала отметим, что возникновение нового знания у живого индивидуума всегда сопровождается эмоциональным всплеском, чувством озарения, возникновением т. н. эмоциональной разрядки, как положительной, так и отрицательной, которая является результатом любого открытия, например нового закона (вспомните Архимеда) или результатом осознания, что все ценности системы не более чем "обман и ложь" придерживаясь строгих позиций, предполагающих, что подобное эмоциональное напряжение не может быть не связанным с какими-либо органическими изменениями в самом индивидууме, можно выдвинуть и попытаться обосновать гипотезу, согласно которой возникновение эмоциональной разрядки базируется на изменениях, вызванных, например, массовой гибелью нейронов.
В рамках предложенной выше модели самообучения, основанной на принципах самозарождения и гибели, конкретному знанию соответствует определенная структура СР-сети или, согласно предыдущей терминологии, фантом. Появление у системы нового знания всегда связано с корректировкой структуры СР-сети, образно говоря, с уничтожением одного фантома и рождением другого, или с появлением некой новой дополнительной структуры.
При этом, как было отмечено ранее, размеры и "жизнестойкость" зарождающихся нейроконструкций определяют значимость нового знания. Так незначительная корректировка, связанная с гибелью (рождением) относительно небольшого числа нейронов, практически не отражается на состоянии и поведении индивидуума. Но иначе обстоят дела в случае массовой гибели нейронов. А массовая гибель становится возможной, когда новые входные данные разрушают старые структуры, для поддержания которых требовалась серьезная энергетическая подпитка, и порождают новую, позволяющую решать весь комплекс тех же самых задач, но меньшим числом нейронов. Здесь речь идет чуть ли не о смене фундамента - это обновление, озарение, очищение, катарсис и т.п. Для системы подобное событие воспринимается как жертва. Новое знание становится возможным благодаря жертве.
П.Д.Успенский писал в своем единственном художественном произведении "Странная жизнь Ивана Осокина":
"А для того, чтобы знать, необходимо выучиться, а для того, чтобы выучиться, необходимо жертвовать. Ничто не может быть приобретено без жертвы...
Человеку может быть дано только то, что он в состоянии использовать, а использовать он может только то, ради чего он чем-то жертвовал. В этом состоит закон человеческой природы. Так что, если человек хочет помощи, чтобы приобрести важные знания или новую власть, он должен пожертвовать другим, важным для него в данный момент. Более того, он может приобрести лишь столько, насколько он отказался от чего-то для этого... Вы не сможете иметь результатов без причин. Жертвуя, вы издаете причины. Существуют разные пути, но отличаются они только по форме, напряженности и итогам жертвы. В большинстве случаев надо отказаться от всего сразу и не ожидая ничего."
Катарсис неизбежно должен иметь свою биологическую основу, энергетическую компоненту. Когда приходит понимание чего-то большего, той тайны, Ради проникновения в которую и было создано множество СР-сетей, структур,элементы которых постоянно требуют своего энергетического обеспечения тогда начинается их массовое уничтожение. Озарение истиной- это завершение выбора, влекущее за собой уничтожение всего того, что рядом, что похоже на цели системы, но все же не совсем то, что ей требуется. Буриданов осел вдруг принимает решение и теряет вторую охапку соломы, но обретает спасение от голодной смерти.
Понимание - это облегчение, как бы посланное свыше, но за ним стоят очень простые и доступные базовые образы: "Баба с возу - кобыле легче" или, более культурно: "Когда леди слезает с дилижанса, то пони идет быстрее".
Истина в данный момент - это абстракция чуть более высокого порядка, чем то, что понималось мгновение назад. Тривиальный факт.
Образно говоря, порой осознание, что все проблемы есть не более чем "жалкий частный случай теоремы Пифагора" - это и есть приближение к истине.
В современной литературе было много сказано о прогнозировании с использованием нетрадиционных подходов, в частности, с применением "человеческого биокомпьютера" (шаманов, прорицателей и т.п.). В этих подходах не только попытки, но и истинность результатов прогнозирования непосредственно связаны с эмоциональным состоянием исполнителя. Ю.В.Росциус в работе "Синдром Кассандры", анализируя дошедшие до нас материалы о Сократе, Р. Труэне и И.И.Бахтине, отмечает, что способность к прогнозированию связана со способностью среди множества протекающих мыслей выделять те. которые сопровождаются специфической эмоцией, такой эмоцией, которая очень похожа на ощущение удовлетворенности от хорошо сделанного дела. Правда, при этом остается без ответа вопрос, как подобная эмоция может быть сопоставлена с прогнозом, который, например, говорит об ожидаемом несчастье для самого носителя прогнозного механизма. Но, как бы то ни было, ситуация все же характеризуется тем, что именно эмоция выступает в качестве критерия истинности. Обратите внимание, критерием истинности названы не результаты логического мышления, а сопровождающие их эмоции.
Наверняка, в жизни каждого человека были ситуации, которые первоначально воспринимались с "положительной" эмоциональной окрашенностью, а затем, по прошествии некоторого времени, оценивались как непоправимая ошибка. В чем здесь причина и не свидетельствует ли это об ошибочно завышенной оценке эмоционального состояния системы для задач прогнозирования? На этот вопрос может быть дано следующее объяснение. За время, прошедшее между двумя эмоциональными оценками события, произошло существенное изменение всей структуры системы, например, значительная перестройка организма и самого прогнозного механизма. Понятно, что в этом случае новое эмоциональное состояние принадлежит уже как бы другой информационной системе, другому человеку, и соответственно имеет Другую измерительную шкалу. Например, в теории К.Кастанеды подобная перестройка (или изменение уровня восприятия) называлась изменением "точки сборки".
После всего сказанного остается поискать место понятию "энергия" в рамках модели СР-сетей. Нейроны гибнут и нейроны рождаются, но они должны же еще и питаться.
Модель самообучения на базе СР-сетей позволяет сделать количественную оценку "эмоциональной разрядки" системы при получении нового знания, что может быть использовано не только для того, чтобы заставить компьютер улыбаться и плакать, но и для того, чтобы оценить правдоподобность нового знания.
Предположим, что поддержание жизнедеятельности одного нейрона требует постоянной энергетической подпитки в размере v условных единиц. Тогда для поддержания сети из n нейронов потребуется постоянная энергия (в условных ед.)
Еn =nv .
Определим, что для самообучающейся информационной системы изменение потребности в энергии отражает ее эмоциональное восприятие мира. При увеличении Еn (рождение нейронов) система "чувствует усталость", а при уменьшении (гибель нейронов) испытывает "эмоциональный всплеск". Все сказанное сказано только для случая, когда фактическая энергия постоянна, т.е. Eф=const.
Таким образом, функция, являющаяся производной по времени от потребности системы в энергии, может быть в данной трактовке использована для моделирования эмоционального поведения компьютерной программы в процессе ее обучения. В более общем случае эмоциональную проекцию (эмоциональное состояние) системы будем определять по формуле
Э= d(Еф - Eп)/dt.
Подобный путь очеловечивания компьютерных программ может быть и наивен, но как модель эмоционального поведения, как модель очищения знанием вполне, с моей точки зрения, имеет право на существование. Представьте себе отображаемое в углу экрана "лицо программы", например в виде человеческого, которое с каждой новой порцией обучающей выборки выглядит все суровее и суровее, и, наконец, радостная улыбка, сменяемая "чувством глубокого удовлетворения", возвещает пользователю о том, что решение найдено.
Например, в третьей главе данной части работы СР-сеть занималась распознаванием функциональной зависимости вида
z =xо x1 + 3x1.
Изменения структуры СР-сети в зависимости от входных данных были иллюстрированы рис. 7.1. Рассмотрим на примере этих схем изменения "эмоционального состояния" данной системы и его влияние на точность предсказания. Из представленной ниже таблицы видно, как первоначально осуществляется накопление в системе "усталости" - количество элементов растет, а точность предсказания далека от совершенства. Наконец, на обучающей порции рис. 1.7.5 происходит катастрофа - параметр "эмоциональное состояние" меняет свой знак с положительного на отрицательный и далее остается равным нулю на любой обучающей выборке, порожденной функциональной зависимостью
z =xо x1 + 3x1.
СР-сеть К-во элементов "Эмоциональное состояние" Ошибка предсказания рис. 1.7.1. 3 +3 x0-2x1 рис. 1.7.2. 4 +1 x1x1-x0x1-3x1 рис. 1.7.3. 5 +1 x0-4x1 рис. 1.7.4. б +1 x0-x0x1 рис.1.7.5. 4 -2 0 рис. 1.7.* 4 0 0 В случае приведенной таблицы получилось, что найденная истина стала причиной эмоциональной разрядки, своего рода катастрофой, приведшей к резкому сокращению текущего (по предыдущему этапу) количества элементов системы.
Последующее длительное равенство нулю "эмоционального состояния" говорит о правильности найденного решения. И чем дольше системе удается удерживать этот ноль, тем более правильным было решение, тем более структура системы гармонирует с окружающим миром. Получается, что требование познания мира является результатом стремления к покою, к гармонии.
Если в свете сказанного попытаться посмотреть на взаимопонимание людей, то сразу находится объяснение, почему, имея логическую убежденность в истинности какого-либо факта или теории, люди изменяют этой убежденности под воздействием эмоционально заряженного оратора, эмоциональной телепередачи или газетной публикации. Все дело в том, что, как было показано выше, эмоции для самообучающейся информационной системы - это критерии истинности. Информационная самообучающаяся система при принятии знания в первую очередь ориентируется на сопровождающее это знание эмоции.
В предыдущих разделах, говоря о такой самообучающейся системе, как человек, мы акцентировали внимание читателей на том факте, что в процессе жизни человека нейроны только гибнут; процесс обучения на принципе самозарождения идет лишь при формировании зародыша. В свете сказанного возникает вопрос: Каким образом приведенное здесь определение "эмоционального состояния" может быть применимо к системам типа человек? Безусловно, однозначное перенесение полученных результатов в данном случае невозможно в силу того, что все определения давались применительно к СР-сетям, в которых процессы рождения и гибели чередуются (например, Человечество).
Что же касается формальной модели отдельно взятого человека, то тут требуется небольшая корректировка, объясняемая следующими соображениями и предположениями:
1) количество нейронов в течение жизни постоянно сокращается;
2) сокращение нейронов осуществляется неравномерно, т.е. процесс носит скачкообразный характер;
3) общая фактическая энергия организма с возрастом уменьшается, в том числе энергия, питающая нейроны;
4) замедление процесса гибели нейронов отражается на общем состоянии организма, приводя его к "утомлению". Это происходит в силу того, что фактическая энергия постоянно уменьшается и ее уже начинает не хватать для удовлетворения вчерашних потребностей;
5) ускорение процесса гибели приводит организм в состояние катарсиса, эмоциональной разрядки, так как наличная (фактическая) энергия начинает удовлетворять все его потребности.
Опираясь на изложенную выше гипотезу, попробуем ответить на вопрос:
"Что будет с человеком в случае массовой гибели почти всех нейронов, как, например, в случае смерти?
Умирание неизбежно связано с массовой гибелью нейронов головного мозга. А согласно изложенному выше. подобная гибель оценивается информационной системой как получение максимального знания, как высший катарсис, высшее очищение и приближение к самой великой истине для данного конкретного человека.
Парадокс? В чем-то- да. Но что делать? Если за знание человек расплачивается элементами памяти, то чем больше он платит, тем больше получает. Отдав всю память без остатка, он получит все возможное знание.
Массовая гибель нейронов создает ощущение полного понимания всех смыслов, это и "яркий белый свет", и встреча с Богом, и абсолютная истина в ее последней инстанции. И действительно в последней инстанции, потому что больше уже ничего не будет. Как это ни грустно, но все факты Р.А.Моуди ("Жизнь после жизни") подтверждают не наличие жизни после смерти, а всего лишь наличие единого алгоритма умирания, и, к сожалению, могут быть объяснены с помощи изложенной выше схемы возникновения эмоций на модели саморазрушающихся сетей.
Как правило, наиболее простое объяснение, основанное на принципах "здравого смысла" без привлечения мистического элемента, всегда оказывается ближе к "суровой" правде.
В заключение попытаемся ответить на вопрос, вынесенный в название, - нужны ли эмоции ЭВМ? Какая система должны обладать эмоциями?
Ответ напрашивается сам собой. Эмоции, являясь критерием истинности в процессе познания (речь идет о модели СР-сетей), могут быть присущи только самообучающейся информационной системе; любым другим системам они не нужны. Но самой самообучающейся системе эмоции, как способ внешнего проявления усвоенного знания, необходимы только тогда, когда можно учиться на чужом примере, на примере подобных же систем.
Подведем итог, перечислив необходимые условия наличия (возникновения) эмоций у системы:
1) способность к самообучению;
2) способность к взаимодействию с себе подобными;
3) способность к обучению на чужих примерах.
Под эти условия попадают люди.
Компьютеры, объединившись в сети и контактируя друг с другом, также близки к этому. Им остается последний шаг - включение элементов самообучения на уровень операционных систем, на уровень библиотечных функций языков программирования, на уровень технологии программирования.
Глава 5. Возможности самозарождающихся и разрушающихся структур
Ведь некоторые не знают, что нам суждено здесь погибнуть. У тех же, кто знает это, сразу прекращаются ссоры.
Г.Л.Олди
Теперь настало время привести наиболее важные результаты для моделей на базе СР-сетей.
Теорема о возможностях СР-сетей.
Проблема обучения информационной самообучающейся системы. построенной на принципах СР-сети. решению любой задачи, даже при условии. что информационная емкость СР-сети (исходное количество элементов) достаточна для хранения поступающей на вход информации, является алгоритмически неразрешимой.
Для доказательства воспользуемся результатами М.И.Дехтяря и А.Я. Диковского [24], которые для дедуктивных баз данных (ДБД) ввели понятие перспективное состояние. Перспективное состояние - это состояние, для которого существует конечная ограниченная траектория, позволяющая достигнуть допустимого состояния. (Дедуктивная база данных - логическая программа, дополненная некоторым набором условий (ограничений целостности), которым должны удовлетворять динамически изменяющееся состояния базы данных). Среди всех продукционных ДБД есть ДБД, правила которых содержат как операции удаления элементов (фактов), так и операции создания (включения). Подобные ДБД по своим функциональным возможностям аналогичны СР-сетям.
В силу того, что в таких продукционных ДБД проблема перспективности неразрешима, можно заключить, что нахождение алгоритма, позволяющего обучить СР-сеть любой задаче (обучение - это как раз и есть поиск траектории, переводящей систему из одного состояния в Другое) также является алгоритмически неразрешимой проблемой.
Ф.И. Тютчев в 1869 году сформулировал данную теорему более изящно:
"Нам не дано предугадать,
Как наше слово отзовется. -
И нам сочувствие дается,
Как нам дается благодать..."
Теорема о возможностях Р-сети.
Информационная самообучающаяся система, построенная на принципах Р-сети. может быть обучена решению любой задачи тогда и только тогда, когда выполняются следующие два условия:
1) информационная емкость Р-сети (исходное количество элементов} достаточна для хранения поступающей на вход информации
2) исходное состояние Р-сети может быть охарактеризовано как состояние с равномерно распределенными связями, т.е. исходное состояние Р-сети-хаос.
Доказательство тривиально. Первое условие является необходимым условием, определяющим потенциальные возможности системы. Второе условие говорит о том, что система должна "одинаково относиться" к любой поступающей на вход информации, тогда на первом этапе (самом главном этапе обучения) любые факты будут для нее равноправны.
Для С-сетей может быть доказана аналогичная теорема.
Теперь кратко коснемся проблемы сравнения информационных самообучающихся систем одного типа друг с другом. В силу того, что их структура постоянно изменяется, а кроме того является внутренней сущностью системы, недоступной для внешнего наблюдателя, опираться на нее, как на сравнительную характеристику, не всегда удобно. Хотелось бы, чтобы сравнительная характеристика была наблюдаема. В частности, для этой цели предлагается воспользоваться некоторой оценкой входа/выхода системы, т.е. оценкой множества входных сообщений и соответствующих им выходных.
Как уже было отмечено в работе "Инфицирование как способ защиты жизни", одна информационная система "понимает" другую, если их языки связи с внешним миром частично или полностью совпадают.
Определим язык i-й информационной системы в виде множества пар:
Si={(ai,k, bi,k},
где
0 ? k ?n;
n - количество различных возможных сообщений в языке системы i;
ai,k- сообщение, поступающее на вход системы i;
bi,k - сообщение, выдаваемое на выходе системы i в ответ на сообщение ai,k.