Применение Байесовых сетей

составляют Vji ;

Xi – пропозиционные переменные (то есть переменные, значениями которых являются высказывания), определяющие состояние вершин БСД.

При этом процесс распространения вероятностей в БСД основывается на механизме пересчёта, в основе функционирования которого лежит следующая последовательность действий:

С каждой вершиной сети ассоциирован вычислительный процесс (процессор), который получает сообщения от соседних (связанных с ним дугами) процессоров.

Этот процессор осуществляет пересчёт апостериорных вероятностей Bel(Vji) для всех возможных значений Vji данной переменной Xi и посылает соседим вершинам ответные сообщения.

Деятельность процессора инициируется нарушением условий согласованности с состояниями соседних процессоров и продолжается до восстановления этих условий.

В некоторых системах, реализующих байесовские сети доверия используется метод noisy or gate, позволяющий существенно упростить вычислительный процесс. Суть его заключается в том, что в ряде примеров вершина «y» может быть условно независима от целого ряда вершин «xr» , где r = 1,2,..., n. Для того, чтобы сократить оценку 2n вероятностей, которые необходимы при использовании таблиц условных вероятностей, и используется данный метод. Согласно ему вероятность «y» в зависимости от n вершин «xr» оценивается как

,

что позволяет оценить только p(y | x 1), p(y | x 2) ... p(y | x n), и на их основании определить оценку p( y | x1 x2 ... xn).

Байесовские сети доверия как одно из направлений современных экспертных систем.

Выбор байесовских сетей доверия в качестве ЭС по сравнению с другими направлениями их построения обусловлен рядом причин.

Логический вывод в байесовских сетях доверия является трактуемым с вычислительной точки зрения, так как теория, лежащая в его основе, имеет аксиоматическое обоснование, отработанное в течение последних десятилетий. В то время, как системы, основанные на теории нечётких множеств, на теории функций доверия, теории Демпстера - Шефера не имеет строгого математического обоснования и в большинстве случаев используют эвристические процедуры ( ЭС типа MYCIN, EMYCIN и т.д.).

Показано, что психологически проще выполнять субъективное вероятностное оценивание причинно-следственных связей.

Метод noisy or gate обеспечивает эффективное вычисление условных вероятностей.

Несмотря на то, что теорию вероятности зачастую критикуют с точки зрения её использования в «знаниях», она не нарушает общих представлений о «замкнутом мире» объектов.

Представление знаний с использованием байесовской сети доверия и условная независимость событий.

Рассмотрим фрагмент представления медицинской БЗ, в которой можно выделить заболевания, симптомы их проявления, а также факторы риска, влияющие на возникновение заболеваний. Пусть некоторая упрощённая модель качественного описания БЗ имеет вид, приведенный на рис.2. Эта модель соответствует следующему набору медицинских знаний:

Одышка [o] может быть вследствие туберкулёза [t], рака лёгких [r] или бронхита [b], а также вследствие ни одного из перечисленных заболеваний или более, чем одного.

Визит в Азию [a] повышает шансы туберкулёза [t].

Курение [k] – фактор риска, как для рака [r], так и бронхита [b].

Результаты рентгена, определяя затемнённость в лёгких не позволяют различить рак [r] и туберкулёз [t], так же как не определяет факт наличия или отсутствия одышки [o].

Последний факт представляется в графе промежуточной переменной (событием) [tr]. Эта переменная соответствует логической функции «или» для двух родителей ([t] и [r]) и она означает наличие либо одной, либо двух болезней или их отсутствие.

Рис.2. Представление фрагмента модели медицинской БЗ в виде БСД.

Важное понятие байесовской сети доверия – это условная независимость случайных переменных, соответствующих вершинам графа. Две переменные A и B являются условно независимыми при данной третьей вершине C, если при известном значении C, значение B не увеличивает информативность о значениях A, то есть

p ( A | B, C ) = p ( A | C ) .

Если имеется факт, что пациент курит, то мы устанавливаем наши доверия относительно рака и бронхита. Однако наши доверия относительно туберкулёза не изменяются. То есть [t] условно не зависит, от [k] при данном пустом множестве переменных

p ( t | k ) = 0

Поступления положительного результата рентгена пациента повышают наши доверия относительно туберкулёза и рака, но не относительно бронхита. То есть [b] – условно не зависит от [x] при данном k

p ( b | x, k ) = p ( b | k )

Однако, если бы знали также, что у пациента учащённое дыхание [o], то рентгеновские результаты также имели бы воздействие на наше доверие относительно бронхита. То есть [b] условно зависит от [x] при данных o и k. Таким образом, логический вывод в БСД означает вычисление условных вероятностей для одних переменных при наличии информации (свидетельств) о других. При этом для распространения вероятностей используется теорема Байеса.

Замечание о субъективных вероятностях и ожидания.

Исчисление вероятностей формально не требует, чтобы использованные вероятности базировались на теоретических выводах или представляли со­бой пределы эмпирических частот. Числовые значения в байесовых сетях могут быть также и субъективными, личностными, оценками ожиданий экспертов по поводу возможности осуществления событий. У разных лиц степень ожидания (надежды или боязни — по Лапласу) события может быть разной, это зависит от индивидуального объема априорной инфор­мации и индивидуального опыта.

Предложен оригинальный способ количественной оценки субъектив­ных ожиданий. Эксперту, чьи ожидания измеряются, предлагается сделать выбор в игре с четко статистически определенной вероятностью альтерна­тивы—поставить некоторую сумму на ожидаемое событие, либо сделать такую же ставку на событие с теоретически известной вероятностью (на­пример, извлечение шара определенного цвета из урны с известным содер­жанием шаров двух цветов). Смена выбора происходит при выравнивании степени ожидания эксперта и теоретической вероятности. Теперь об ожи­дании эксперта можно (с небольшой натяжкой) говорить как о вероятности, коль скоро оно численно равно теоретической вероятности некоторого дру­гого статистического события.

Использование субъективных ожиданий в байесовых сетях является единственной альтернативой на практике, если необходим учет мнения экспертов (например, врачей или социологов) о возможности наступления события, к которому неприменимо понятие повторяемости, а также невоз­можно его описание в терминах совокупности элементарных событий.

Синтез сети на основе априорной информации.

Как уже отмечалось, вероятности значений переменных могут быть как физическими (основанными на данных), так и байесовыми (субъективны­ми, основанными на индивидуальном опыте). В минимальном варианте полезная байесова сеть может быть построена с использованием только априорной информации (экспертных ожиданий).

Для синтеза сети необходимо выполнить следующие действия:

сформулировать проблему в терминах вероятностей значений целе­вых переменных;

выбрать понятийное пространство задачи, определить переменные,
имеющие отношение к целевым переменным, описать возможные
значения этих переменных;

выбрать на основе опыта и имеющейся информации априорные ве­роятности значений переменных;

описать отношения «причина-следствие» (как косвенные, так и пря­мые) в виде ориентированных ребер графа, разместив в узлах пере­менные задачи;

для каждого узла графа, имеющего входные ребра указать оценки
вероятностей различных значений переменной этого узла в зависи­мости от комбинации значений переменных-предков на графе.

Эта процедура аналогична действиям инженера по знаниям при постро­ении экспертной системы в некоторой предметной области. Отношения зависимости, априорные и условные вероятности соответствуют фактам и правилам в базе знаний ЭС.

Построенная априорная байесова сеть формально готова к использова­нию. Вероятностные вычисления в ней проводятся с использованием уже описанной процедуры маргинализации полной вероятности.

Дальнейшее улучшение качества прогнозирования может быть достиг­нуто путем обучения байесовой сети на имеющихся экспериментальных данных. Обучение традиционно разделяется на две составляющие — вы­бор эффективной топологии сети, включая, возможно, добавление новых узлов, соответствующих скрытым переменным, и настройка параметров условных распределений для значений переменных в узлах.

Пример использования Байесовых сетей

Естественной областью использования байесовых сетей являются эксперт­ные системы, которые нуждаются в средствах оперирования с вероятностя­ми.

Медицина

Система PathFinder (Heckerman, 1990) разработана для диагностики забо­леваний лимфатических узлов. PathFinder включает 60 различных вариан­тов диагноза и 130 переменных, значения которых могут наблюдаться при изучении клинических случаев. Система смогла приблизиться к уровню экспертов, и ее версия PathFinder-4 получила коммерческое распростране­ние.

Множество других разработок (Child, MUNIN, Painulim, SWAN и др.) успешно применяются в различных медицинских приложениях .

Космические и военные применения

Система поддержки принятия решений Vista (Eric Horvitz) применяется в Центре управления полетами NASA (NASA Mission Control Center) в Хью­стоне. Система анализирует телеметрические данные и в реальном времени идентифицирует, какую информацию нужно выделить на диагностических дисплеях.

В исследовательской лаборатории МО Австралии системы, основанные на байесовых сетях, рассматриваются, как перспективные в тактических задачах исследования операций. Модель включает в себя раз­личные тактические сценарии поведения сторон, данные о передвижении судов, данные разведнаблюдений и другие переменные. Последовательное поступление информации о действиях противников позволяет синхронно прогнозировать вероятности различных действий в течение конфликта.

Компьютеры и системное программное обеспечение

В фирме Microsoft методики байесовых сетей применены для управления интерфейсными агентами-помощниками в системе Office (знакомая мно­гим пользователям «скрепка»), в диагностике проблем работы принтеров и других справочных и wizard-подсистемах.

Обработка изображений и видео

Важные современные направления применений байесовых сетей связаны с восстановлением трехмерных сцен из двумерной динамической инфор­мации, а также синтеза статических изображений высокой четкости из видеосигнала.

Финансы и экономика

В серии работ школы бизнеса Университета штата Канзас описаны байесовы методики оценки риска и прогноза доходности портфелей финан­совых инструментов. Основными достоинствами байесовых сетей в финан­совых задачах является возможность совместного учета количественных и качественных рыночных показателей, динамическое поступление новой информации, а также явные зависимости между существенными фактора­ми, влияющими на финансовые показатели.

Результаты моделирования представляются в форме гистограмм рас­пределений вероятностей, что позволяет провести детальный анализ соот­ношений «риск-доходность». Весьма эффективными являются также ши­рокие возможности по игровому моделированию.

Описание прикладных программ

Байесовы сети — интенсивно развивающаяся научная область, многие результаты которой уже успели найти коммерческое применение. Приводится список популярных программ, спектр которых, отражает общую картину, возникшую в последние 10-15 лет.

AUAI — Ассоциация анализа неопределенности в искусственном интеллекте

(URL: auai/)

Ассоциация анализа неопределенности в искусственном интеллекте (Association for Uncertainty in Artificial Intelligence — AUAI) — некоммерческая организация, главной целью которой является проведение ежегодной Конференции по неопределенности в искусственном интеллекте (UAI).

Конференция UAI-2002 прошла в начале августа 2002 года в Университете Альберты (Эдмонтон, Канада). Конференции UAI проходят ежегодно, начиная с 1985 года, обычно в совместно с другими конференциями по смежным проблемам. Труды конференций издаются в виде книг, однако многие статьи доступны в сети.

NETICA

(URL: norsys/index.html)

Norsys Software Corp. — частная компания, Расположенная в Ванкувере (Канада). Norsys специализируется в разработке программного обеспечения для байесовых сетей. Программа Netica —основное достижение компании, разрабатывается с 1992 года и стала коммерчески доступной в 1995 году. В настоящее время Netica является одним из наиболее широко используемых инструментов для разработки байесовых сетей.

Версия программы с ограниченной функциональностью свободно доступна на сайте фирмы Norsys.

Рисунок 1 Пример байесовой сети в приложении Netica

Netica — мощная, удобная в работе программа для работы с графовыми вероят­ностными моделями. Она имеет интуитивный и приятный интерфейс пользователя для ввода топологии сети. Соотношения между переменными могут быть заданы, как индивидуальные вероятности, в форме уравнений, или путем автоматического обучения из файлов данных (которые могут содержать пропуски).

Созданные сети могут быть использованы независимо, и как фрагменты более крупных моделей, формируя тем самым библиотеку модулей. При создании сетевых моделей доступен широкий спектр функций и инструментов.

Многие операции могут быть сделаны несколькими щелчками мыши, что де­лает систему Netica весьма удобной для поисковых исследований, и для обучения и для простого просмотра, и для обучения модели байесовой сети. Система Netica постоянно развивается и совершенствуется.

Knowledge Industries

(URL: kic/)

Knowledge Industries —ведущий поставщик программных инструментальных средств для разработки и внедрения комплексных диагностических систем. При проектировании сложных и дорогостоящих вариантов систем диагностик в компа­нии используется байесовы сети собственной разработки.

Data Digest Corporation

(URL: data-digest/home.html)

Data Digest Corporation является одним из лидеров в применении методов байесовых сетей к анализу данных.

BayesWare, Ltd

(URL: bayesware/corporate/profile.html)

Компания BayesWare основана в 1999 году. Она производит и поддерживает про­граммное обеспечение, поставляет изготовленные на заказ решения, предоставляет программы обучения, и предлагает услуги консультирования корпоративным за­казчикам и общественным учреждениям. Одна из успешных разработок компании, Bayesware Discoverer, основана на моделях байесовых сетей.

HUGIN Expert

(URL: hugin/)

Компания Hugin Expert была основана в 1989 году в Ольборге, (Дания). Их основ­ной продукт Hugin начал создаваться во время работ по проекту ESPRIT, в котором системы, основанные на знаниях, использовались для проблемы диагностирова­ния нервно-мышечных заболеваний. Затем началась коммерциализация результа­тов проекта и основного инструмента — программы Hugin. К настоящему моменту Hugin адаптирована во многих исследовательских центрах компании в 25 различ­ных странах, она используется в ряде различных областей, связанных с анализом решений, поддержкой принятия решений, предсказанием, диагностикой, управле­нием рисками и оценками безопасности технологий.

Hugin является программой реализацией системы принятия решений на основе байесовских сетей доверия. Имеет две версии Pro и Explorer. Функционирует в среде OS Windows’95, Windows NT, а также имеет версию UNIX. Эта система имеет развитый интерфейс и позволяет достаточно просто создавать базы знаний и фактов. Использует два основных режима работы:

режим редактирования и построения причинно-следственной сети, а также заполнения таблиц условных вероятностей, являющихся количественным описанием БЗ.

режим расчёта вероятностных оценок для принятия решения по всем событиям, входящим в причинно-следственную сеть. Расчёты могут осуществляться как на основе классической теории Байеса, так и на основе методов теории возможностей.

“Hugin” имеет возможность связи с основными наиболее распространёнными программными средствами фирмы Microsoft. Данная ЭС имеет все основные функции любой информационной системы, включая такие как: хранение данных, вывод на принтер всех элементов ЭС, диагностика ошибок в работе.

Выводы

Байесовы вероятностные методы обучения машин являются существенным шагом вперед, в сравнении с популярными моделями «черных ящиков». Они дают понятное объяснение своих выводов, допускают логическую ин­терпретацию и модификацию структуры отношений между переменными задачи, а также позволяют в явной форме учесть априорный опыт экспер­тов в соответствующей предметной области.

Благодаря удачному представлению в виде графов, байесовы сети весь­ма удобны в пользовательских приложениях.

Байесовы сети базируются на фундаментальных положениях и резуль­татах теории вероятностей, разрабатываемых в течение нескольких сотен лет, что и лежит в основе их успеха в практической плоскости.

Байесова методология, в действительности, шире, чем семейство спосо­бов оперирования с условными вероятностями в ориентированных графах. Она включает в себя также модели с симметричными связями (случай­ные поля и решетки), модели динамических процессов (марковские цепи), а также широкий класс моделей со скрытыми переменными, позволяю­щих решать вероятностные задачи классификации, распознавания образов и прогнозирования.

В ближайшем будущем предполагается значительно расширить применение Байесовых сетей доверия. Например, на одном из сайтов поисковиков конструируются байесовские сети для моделирования успешных запросов, поступающих от пользователей. Эти сети могут пополнять регистрационный файл поискового сервера назначаемыми категориями предполагаемых целей информации для обеспечения возможности предсказания модификаций запросов.

Список используемой литературы.

Таха Х.А., Введение в исследование операций, Вильямс, Киев, 2005.

Терехов С.А., Лекции по нейроинформатике, МИФИ, М., 2003.

Хабаров С., Экспертные системы, M., 2003.

Чернова Н.И., Математические методы и исследование операций в эк., М., 2000.

ai.mit.edu/˜ murphyk/Software/BNT/bnsoft.html. Описание программных продуктов для работы с байесовскими сетями.