<< Пред.           стр. 12 (из 17)           След. >>

Список литературы по разделу

 
  Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.
  1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем. Очевидно, что исходный толчок может быть дан докладной запиской одного из сотрудников или дискуссией на совещании, но реальное начало работы - решение ЛПР.
  2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря - ведение документации экспертного опроса, решение организационных задач.
  3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.
  4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы ). Например, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов прикладной статистики (о некоторых из названных методов речь пойдет ниже). Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате информация используется на 1-2%.
  5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.
  6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.
  7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.
  8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.
  9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.
  10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.
  11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.
  Разберем подробнее отдельные стадии экспертного исследования. Начнем с подбора экспертов: кадры решают все! Каковы эксперты - таково и качество заключения экспертной комиссии.
 
 12.3. Подбор экспертов
 
  Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что в настоящее время и в обозримом будущем не будет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на иные стороны процедур подбора экспертов.
  В проблеме подбора экспертов можно выделить две составляющие - 1)составление списка возможных экспертов и 2) выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
  Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания. Из обширного реестра можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.
  Как быть, если экспертиза проводится впервые, а потому устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько (например, пять) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее и зафиксированы в списках РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда список экспертов расширяется до нужных размеров или когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания "снежного кома" нельзя заранее предсказать, а потому нельзя предварительно установить продолжительность и стоимость этой работы. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.
  Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций, награды, ...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять при формировании экспертной комиссии.
  Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях не так уж много, особено в сравнении с претензиями профанов. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. При этом специалист вполне сознательно искусственно сужает зону своей компетенции. Так, научный работник может заявить, что он компетентен только в том, чему посвящены его последние публикации.
  При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "пуд соли вместе съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга. Малая осведомленность экспертов о возможностях друг друга приводит к взаимооценкам на основе недостаточных, а иногда и не вполне достоверных сведений, или на базе ранее описанных формальных показателей.
  Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
  Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.
  Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
 
  12.4. О разработке регламента проведения сбора
  и анализа экспертных мнений
 
  Как уже отмечалось, существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.
  В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой (приняв какой-либо нормативно-правовой документ) утвердить одну из возможных точек зрения может принести лишь вред.
  Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.
  Какова цель работы комиссии? Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов на группы с целью их классификации.
  ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.
  Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Таких обычно называют диссидентами (т.е. инакомыслящими). Именно от них следует ожидать наиболее оригинальных аргументов.
  ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР. Эконометрические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения, основанного на итоговом коллективном мнении комиссии экспертов. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
  ДОГМА СОГЛАСОВАННОСТИ. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. (В лучшем случае им разрешает составить документ под названием: "Особое мнение".) При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их компетентности и профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
  Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, хорошо известны примеры деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет, например, об истории конкурсов НИР в академическом Институте проблем управления (автоматики и телемеханики)).
  Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).
  Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности, а потому не имеющими практического смысла. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение конкретной статистической гипотезы, а именно, гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок [1]. Отклонение этой нулевой гипотезы толкуется как принятие альтернативной гипотезы согласованности ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из различного толкования одних и тех же слов в не вполне связанных друг с другом научных дисциплинах: принятие статистической гипотезы согласованности в указанном математико-статистическом смысле вовсе не является обоснованием согласованности мнений экспертов в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных). Группы экспертов с близкими взглядами можно выделить эконометрическими методами кластер-анализа.
  МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
  Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
  В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.
  ДОГМА ОДНОМЕРНОСТИ. Среди менеджеров и инженеров распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".
  Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных им. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
  расход бензина на 100 км пути (в среднем);
  надежность (средняя стоимость ремонта за год);
  экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
  маневренность;
  быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
  длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе;
  дизайн (привлекательность и "модность" внешнего вида и отделки салона);
  представительность;
  вес;
  срок службы;
  эксплуатационные расходы (за год);
  цена;
  приведенная к сопоставимым ценам стоимость 1 км пробега, и т.д.
  Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в большом городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных служб государственного управления, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Представительность важна для высших менеджеров и чиновников, занимающих высокие посты. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.
  Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - могут не дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.
  В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты непосредственно с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.
  Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
  Отметим, что есть экспертные процедуры, в которых веса отдельных факторов вычисляются в результате тщательного анализа иерархической системы показателей. Для таких процедур приведенные выше критические замечания по поводу экспертного определения весов факторов не имеют силы.
  ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,...) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.
  Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.
  ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ. Рассмотрим достоинства и недостатки каждого из элементов следующей шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений.
  При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Хорошо - потому что он полностью независим, защищен от любого давления. Плохо - он не знает соображений других экспертов, а потому опирается лишь на собственную информационную базу. Обычно такая ситуация соответствует однотуровой экспертизе.
  Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура, чтобы эксперт смог скорректировать свое мнение, познакомившись с мнениями других.
  Заочное общение без анонимности соответствует, например, общению по Интернету. Экспертные опросы на основе информационных технологий -весьма перспективное направление развития в области организации экспертиз.
  Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное для всех экспертов время и место.
  При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Подробно такой совет описан в повести А.С. Пушкина "Капитанская дочка". Другой пример - "мозговой штурм", при котором запрещается критиковать чужие высказывания.
  Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать. Хотя опыт генералов несравним с лейтенантским, но в процессе недавнего обучения лейтенанты познакомились с последними научными достижениями, которые почти наверняка прошли мимо внимания генералов. Разумеется, этот пример можно обсудить не для совещания военных, а для собрания управленцев (менеджеров), врачей или преподавателей.
  Необходимо обратить внимание на психологические особенности экспертов. Один начнет громко говорить на разные темы, как только ему это удастся, и словесный понос может продолжаться часами. От попыток прервать его и сказать свое такой деятель легко отбивается, в частности, за счет высокой скорости произнесения слов. Поведение другого эксперта противоположно. Он предпочитает помалкивать, пока ему не предоставлено слово, не тратить сил на попытки вклиниться в словесный понос "говоруна". Из сказанного ясно, что очная экспертиза без ограничений, т.е. свободная дискуссия - это недостижимый идеал, реально роль и возможности председателя заседания (зафиксированные в регламенте работы ЭК) должны быть достаточны велики.
  КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим систему экспертиз при подготовке и защите студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате учета результатов этой экспертизы студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв и дает оценку проекту, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом лишь один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу студента. Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.
 
 12.5. Методы средних баллов
 
  В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и иные опросы, в которых опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п., а затем рассчитывают средние баллы и рассматривают их как интегральные оценки, выставленные коллективом опрошенных.
  Какими формулами пользоваться для вычисления средних величин? Ведь разных видов средних величин, как мы знаем, очень много (см. главу 3). Обычно в старых или устаревших литературных источниках рекомендуют применять среднее арифметическое. Однако эта устоявшаяся рекомендация противоречит теории измерений. Однако уже более 25 лет известно, что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале. Обоснованным является использование медиан в качестве средних баллов. Это вытекает из теорем эконометрики, приведенных в главе 3.
  Однако полностью игнорировать средние арифметические нерационально из-за их привычности и распространенности. Поэтому целесообразно использовать одновременно оба метода - и метод средних арифметических рангов (баллов), и методов медианных рангов. Эта рекомендация находится в согласии с концепцией устойчивости, согласно которой следует использовать различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных данных, например, экспертных оценок.
  Пример сравнения восьми проектов. Рассмотрим конкретный пример применения только что сформулированного подхода.
  По заданию руководства фирмы анализировались восемь проектов, предлагаемых для включения в план стратегического развития фирмы. Они были обозначены следующим образом: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, назначенным Советом директоров фирмы. В приведенной ниже табл.1 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с представлением экспертов о целесообразности включения проекта в стратегический план фирмы. При этом эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект,..., наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь).
  Анализируя результаты работы экспертов (т.е. упомянутую таблицу), члены Правления фирмы были вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в табл.1, следует подвергнуть более тщательному математическому анализу.
  Метод средних арифметических рангов. Сначала был применен метод средних арифметических рангов. Для этого прежде всего была подсчитана сумма рангов, присвоенных проектам (см. табл.1). Затем эта сумма была разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, чем лучше проект.
 
 Табл. 1. Ранги 8 проектов по степени привлекательности
 для включения в план стратегического развития фирмы
 
 № эксперта Д Л М-К Б Г-Б Сол Стеф К 1 5 3 1 2 8 4 6 7 2 5 4 3 1 8 2 6 7 3 1 7 5 4 8 2 3 6 4 6 4 2,5 2,5 8 1 7 5 5 8 2 4 6 3 5 1 7 6 5 6 4 3 2 1 7 8 7 6 1 2 3 5 4 8 7 8 5 1 3 2 7 4 6 8 9 6 1 3 2 5 4 7 8 10 5 3 2 1 8 4 6 7 11 7 1 3 2 6 4 5 8 12 1 6 5 3 8 4 2 7
  Примечание. Эксперт № 4 считает, что проекты М-К и Б равноценны, но уступают лишь одному проекту - проекту Сол. Поэтому проекты М-К и Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3. Поскольку они равноценны, то получают средний балл (2+3)/ 2 = 5/ 2 = 2,5.
 
  Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К. И он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов с целью получения итоговой ранжировки), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл. 2 ниже.
  Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:
 Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (1)
 Здесь запись типа "А<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу - класс эквивалентности (в фигурных скобках). В терминологии математической статистики ранжировка (1) имеет одну связь.
  Метод медиан рангов. Значит, наука сказала свое слово, итог расчетов - ранжировка (1), и на ее основе предстоит принимать решение? Но тут наиболее знакомый с современной эконометрикой член Совета директоров вспомнил то, о чем говорилось в главе 3, посвященной теории измерений. Он вспомнил, что ответы экспертов измерены в порядковой шкале, а потому для них неправомерно проводить усреднение методом средних арифметических. Надо использовать метод медиан.
  Что это значит? Напомним, что надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания (проще было бы сказать - "в порядке возрастания", но поскольку некоторые ответы совпадают, то приходится использовать непривычный термин "неубывание"). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.
 
 Табл. 2. Результаты расчетов по методу средних арифметических
  и методу медиан для данных, приведенных в табл. 1.
 
  Д Л М-К Б Г-Б Сол Стеф К Сумма рангов 60 39 37,5 31.5 76 39 64 85 Среднее арифметическое рангов 5 3,25 3,125 2,625 6,333 3,25 5,333 7,083 Итоговый ранг по среднему арифметическому 5 3,5 2 1 7 3,5 6 8 Медианы рангов 5 3 3 2,25 7,5 4 6 7 Итоговый ранг по медианам 5 2,5 2,5 1 8 4 6 7
  Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл.2. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда.) Итоговое упорядочение по методу медиан приведено в последней строке табл.2. Ранжировка (т.е. упорядочение - итоговое мнение комиссии экспертов) по медианам имеет вид:
 Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б . (2)
 Поскольку проекты Л и М-К имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики ранжировка (2) имеет одну связь.
  Сравнение ранжировок по методу средних арифметических и методу медиан. Сравнение ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты М-К, Л, Сол упорядочены как М-К < Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (1)), а в другом - проекты М-К и Л (ранжировка (2)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (1) Г-Б<К, а в ранжировке (2), наоборот, К<Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования на указанное расхождение можно не обращать внимания.
  Рассмотренный пример демонстрирует сходство и различие ранжировок, полученных по методу средних арифметических рангов и по методу медиан, а также пользу от их совместного применения. Однако нельзя не отметить, что только что проведенное сравнение ранжировок (1) и (2) осуществлено не вполне строго. Ясно, что в эконометрическом инструментарии специалиста по проведению экспертных исследований должен быть алгоритм согласования ранжировок, полученных различными методами.
 
 12.6. Метод согласования кластеризованных ранжировок
 
  Рассматриваемая здесь проблема состоит в выделении общего нестрогого порядка из набора кластеризованных ранжировок (на статистическом языке - ранжировок со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Рассматривается метод согласования кластеризованных ранжировок, позволяющий "загнать" противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует всем исходным упорядочениям.
  В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся прежде всего инженерный бизнес, менеджмент, экономика, социология, прогнозирование, экология, научные и технические исследования и т.д., особенно те их разделы, что связаны с экспертными оценками. В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Первоначально описанный ниже метод был разработан в связи с проблемами химической безопасности биосферы и экологического страхования.
  Повторим более подробно постановку проблемы. В настоящем пункте учебного пособия рассматривается метод построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках. В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (например, вычисление медианы Кемени, упорядочения по средним рангам или по медианам и т.п.), так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научных или прикладных работ.
  Введем необходимые понятия, затем сформулируем алгоритм согласования кластеризованных ранжировок в общем виде и рассмотрим его свойства.
  Пусть имеется конечное число объектов, которые мы для простоты изложения будем изображать натуральными числами 1,2,3,...,k и называть "носителем". Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. В этом разбиении один кластер {5,6,7} содержит три элемента, другой - {2,3} - два, остальные пять - по одному элементу. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.
  Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака < . При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку (одну из возможных) на основе введенных выше кластеров можно изобразить так:
 А = [ 1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10 ] .
 Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.
  Введенная описанным образом кластеризованная ранжировка является бинарным отношением на множестве {1,2,3,...,10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные состоят из оставшихся 5 отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности.
  Введенный математический объект известен в литературе как "ранжировка со связями" (М. Холлендер, Д.Вулф), "упорядочение" (Дж. Кемени, Дж. Снелл), "квазисерия" (Б.Г.Миркин), "совершенный квазипорядок" (Ю.А.Шрейдер [2, с.127, 130]). Учитывая разнобой в терминологии, мы сочли полезным ввести собственный термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними (в терминологии Ю.А. Шрейдера [2, гл.IV]).
  Следующее важное понятие - противоречивость. Оно определяется для четверки - две кластеризованные ранжировки на одном и том же носителе и два различных объекта - элементы того же носителя. При этом два элемента из одного кластера будем связывать символом равенства = , как эквивалентные .
  Определение 1. Пусть А и В - две кластеризованные ранжировки. Пару объектов (a,b) назовем "противоречивой" относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В (первый вариант противоречивости) либо a >b в А и a < b в В (второй вариант противоречивости).
  Отметим, что в соответствии с этим определением пара объектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть противоречивой: эквивалентность a = b не образует "противоречия" ни с a < b, ни с a > b.
  Определение 2. Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем "ядром противоречий" и обозначим S(A,B).
  В качестве примера рассмотрим две кластеризованные ранжировки
 В = [{1,2} < { 3,4, 5} < 6 < 7 < 9 < {8, 10}],
 C = [3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9, 10}].
 Для трех кластеризованных ранжировок А, В и С, определенных на одном и том же носителе {1, 2, 3,..., 10}, имеем
 S(A,B) = [ (8, 9)], S(A,C) = [ (1, 3), (2,4) ] ,
 S(B,C) = [ (1, 3), (2, 3), (2, 4), (5, 6), (8,9) ] .
 Как при ручном, так и при программном нахождении ядра можно в поисках противоречивых пар просматривать пары (1,2), (1,3), (1.,4), ...., (1, k), затем (2,3), (2,4), ..., (2, k), потом (3,4), ..., (3, k), и т.д., вплоть до (k-1, k).
  Пользуясь понятиями дискретной математики, "ядро противоречий" можно изобразить графом с вершинами в точках носителя. При этом противоречивые пары задают ребра этого графа. Граф для S(A,B) имеет только одно ребро (следовательно, у него одна связная компонента более чем из одной точки), для S(A,C) - 2 ребра (у этого графа две связные компоненты более чем из одной точки), для S(B,C) - 5 ребер (здесь три связные компоненты более чем из одной точки, а именно, {1, 2 , 3, 4}, {5, 6} и {8, 9}).
  Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1. Из определения противоречивости пары (a, b) вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить две матрицы ||x(a,b)|| и ||y(a, b)||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b)=x(b,a)y(b,a)=0.
  Кроме ядер противоречий, представляют интерес пары объектов, эквивалентных во всех исходных кластеризованных ранжировках.
  Определение 3. Ядром всеобщей эквивалентности называется совокупность пар объектов, в которых оба объекта эквивалентны во всех исходных кластеризованных ранжировках.
  Рассматриваемый алгоритм согласования некоторого числа кластеризованных ранжировок состоят из трех этапов.
  На первом выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок и формируются (попарные) ядра противоречий.
  На втором формируются кластеры итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные компоненты графа, соответствующего объединению попарных ядер противоречий и ядра всеобщей эквивалентности).
  На третьем этапе эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. Отметим, что в некоторых из исходных кластеризованных ранжировок выбранные объекты могут быть эквивалентны (т.е. находиться в одном кластере). ). В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же они эквивалентны во всех исходных ранжировках, то входят в ядро всеобщей эквивалентности и будут эквивалентны и в итоговой кластеризованной ранжировке, что обеспечивается выполнением процедур второго этапа.
  Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем, доказанных в статье [3].
  Определение 4. Результат применения алгоритма согласования к совокупности исходных кластеризованных ранжировок называется кластеризованной ранжировкой, согласованной с исходными (в другой формулировке - согласующей исходные ранжировки).
  Результат согласования кластеризованных ранжировок А, В, С,... обозначим f(А, В, С,...). Ядра противоречий выписаны выше. Ядро всеобщей эквивалентности возникает лишь при рассмотрении ранжировок А и С. Оно состоит из пары (5,7), поскольку объекты 5 и 7 (и только они) эквивалентны и в А, и в С. Тогда
 f(А, В) = [1<2<3<4<5<6<7<{8, 9}<10],
 f(А, С) = [{1,3}<{2, 4}<6<{5,7}<8<9<10],
 f(В, С) = [{1,2,3,4}<{5,6}<7<{8,9}<10],
 f(А, В, С) = f(В, С) = [{1,2,3,4} <{5,6}<7<{8, 9}<10].
  В случае f(А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае f(В, С) объекты 1,2,3,4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.
  Рассмотрим некоторые свойства алгоритмов согласования.
  1. Пусть D = f(А, В, C,...). Если a   2. Построение согласующих кластеризованных ранжировок может осуществляться поэтапно. В частности, f(A, B, C) = f(f(A, B), f(A, C), f(B, C)) . Ясно, что ядро противоречий для набора кластеризованных ранжировок является объединением таких ядер для всех пар рассматриваемых ранжировок, а ядро всеобщей эквивалентности - пересечением таких ядер для всех пар рассматриваемых ранжировок.
  3. Построение согласующих кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться. Так, при согласовании ранжировок В и С, рассмотренных выше, противоречия в упорядочении элементов 1 и 2 не было - в ранжировке В эти объекты входили в один кластер, т.е. 1 = 2, в то время как 1<2 в кластеризованной ранжировке С. Значит, при их отдельном рассмотрении можно принять упорядочение 1 < 2. Однако в f(В,C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.
  4. Необходимость согласования кластеризованных ранжировок возникает, в частности, при разработке методики применения экспертных оценок в задачах экологического страхования и химической безопасности биосферы. Поясним, как возникает эта необходимость. Как уже говорилось, популярным является метод упорядочения по средним рангам, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами. Однако из теории измерений известно (см. выше главу 3), что более обоснованным является использование не средних арифметических, а медиан. Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому было принято решение об одновременном применении обеих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.
  5. Область применения рассматриваемого метода не ограничивается экспертными оценками. Он может быть использован, например, для построения банка знаний с целью использования в задачах экологического страхования требовалось разработать методику сравнения эконометрических, экономико-математических моделей и математических моделей в смежных областях. В частности, для расчета экономического ущерба от аварий использовались математические модели процесса испарения жидкости. Как сравнивать качество таких моделей? Имелись данные экспериментов и результаты расчетов по 8 математическим моделям. Сравнивать модели можно по различным критериям качества. Например, по сумме модулей относительных отклонений расчетных и экспериментальных значений. Можно и по другому - в каждой экспериментальной точке упорядочить модели по качеству, а потом получать единую оценку методами средних рангов и медиан. Использовались и иные методы. Затем применялись методы согласования полученных кластеризованных ранжировок. В результате оказалось возможным упорядочить модели по качеству и использовать это упорядочение при разработке банка математических моделей, используемого в задачах химической безопасности биосферы.
  6. Рассматриваемый метод согласования кластеризованных ранжировок построен в соответствии с методологией теории устойчивости, согласно которой результат обработки данных, инвариантный относительно метода обработки, соответствует реальности, а результат расчетов, зависящий от метода обработки, отражает субъективизм исследователя, а не объективные соотношения.
 
 12.7. Математические методы анализа экспертных оценок
 
  При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику. Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
  Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы.
  Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответ в форме чисел - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями, обычно оформленными в виде инструкций) характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?" И сразу станет ясно, что степень оптимальности принимаемых решений зависит от горизонта планирования (на экономико-математическом уровне этот сюжет рассмотрен в монографии [4]).
  Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В связи с "оцифровкой" уместно вспомнить классическую притчу о человеке, который ищет потерянные ключи под фонарем, хотя потерял их в кустах. На вопрос, почему он так делает, отвечает: "Под фонарем светлее". Это, конечно, верно. Но, к сожалению, весьма малы шансы найти потерянные ключи под фонарем. Так и с "оцифровкой" нечисловых данных. Она дает возможность имитации научной деятельности, но не возможность найти истину.
  Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.
  Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?
  Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
  При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик (см. ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.
  Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".
  Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения рассмотрена выше. В частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).
  В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам.
  Бинарные отношения и расстояние Кемени. Как известно, бинарное отношение А на конечном множестве Q = {q1 , q2 ,..., qk } - это подмножество декартова квадрата Q2 = { (qm , qn ), m,n = 1,2,...,k }. При этом пара (qm , qn ) входит в А тогда и только тогда, когда между qm и qn имеется рассматриваемое отношение.
  Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1.
  Как использовать связь между ранжировками и матрицами? Например, из определения противоречивости пары (a, b) вытекает, что для нахождения всех таких пар можно воспользоваться матрицами, соответствующими ранжировкам. Достаточно поэлементно перемножить две матрицы ||x(a,b)|| и ||y(a, b)||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b)y(a,b)=x(b,a)y(b,a)=0.
  В экспертных методах используют, в частности, такие бинарные отношения, как ранжировки (упорядочения, или разбиения на группы, между которыми имеется строгий порядок), отношения эквивалентности, толерантности (отношения сходства). Как следует из сказанного выше, каждое бинарное отношение А можно описать матрицей || a(i,j) || из 0 и 1, причем a(i,j) = 1 тогда и только тогда, когда qi и qj находятся в отношении А, и a(i,j) = 0 в противном случае.
  Определение. Расстоянием Кемени между бинарными отношениями А и В, описываемыми матрицами || a(i,j) || и || b(i,j) || соответственно, называется число
 D (A, B) = ¦a(i,j) - b(i,j) ¦,
 где суммирование производится по всем i,j от 1 до k, т.е. расстояние Кемени между бинарными отношениями равно сумме модулей разностей элементов, стоящих на одних и тех же местах в соответствующих им матрицах.
  Легко видеть, что расстояние Кемени - это число несовпадающих элементов в матрицах || a(i,j) || и || b(i,j) || .
  Расстояние Кемени основано на некоторой системе аксиом. Эта система аксиом и вывод из нее формулы для расстояния Кемени между упорядочениями содержится в книге [5], которая сыграла большую роль в развитии в нашей стране такого научного направления, как анализ нечисловой информации. В дальнейшем под влиянием Дж. Кемени были предложены различные системы аксиом для получения расстояний в тех или иных используемых в социально-экономических исследованиях пространствах, например, в пространствах множеств [4].
  Медиана Кемени и законы больших чисел. С помощью расстояния Кемени находят итоговое мнение комиссии экспертов. Пусть А1 , А2 , А3 ,..., Ар - ответы р экспертов, представленные в виде бинарных отношений. Для их усреднения используют т.н. медиану Кемени
 Arg min D (Ai ,A) ,
 где Arg min - то или те значения А, при которых достигает минимума указанная сумма расстояний Кемени от ответов экспертов до текущей переменной А, по которой и проводится минимизация. Таким образом,
  D (Ai ,A) = D (A1 ,A) + D (A2 ,A) + D (A3 ,A) +...+ D (Aр ,A) .
  Кроме медианы Кемени, используют среднее по Кемени, в котором вместо D (Ai ,A) стоит D2 (Ai ,A) .
  Медиана Кемени - частный случай определения эмпирического среднего в пространствах нечисловой природы. Для нее справедлив закон больших чисел, т.е. эмпирическое среднее приближается при росте числа составляющих (т.е. р - числа слагаемых в сумме), к теоретическому среднему:
 Arg min D (Ai ,A) Arg min М D (A1 , A) .
 Здесь М - символ математического ожидания. Предполагается, что ответы р экспертов А1 , А2 , А3 ,..., А р есть основания рассматривать как независимые одинаково распределенные случайные элементы (т.е. как случайную выборку) в соответствующем пространстве произвольной природы, например, в пространстве упорядочений или отношений эквивалентности. Систематически эмпирические и теоретические средние и соответствующие законы больших чисел рассмотрены в соответствующей главе настоящей книги.
  Законы больших чисел показывают, во-первых, что медиана Кемени обладает устойчивостью по отношению к незначительному изменению состава экспертной комиссии; во-вторых, при увеличении числа экспертов она приближается к некоторому пределу. Его естественно рассматривать как истинное мнение экспертов, от которого каждый из них несколько отклонялся по случайным причинам.
  Рассматриваемый здесь закон больших чисел является обобщением известного в статистике "классического" закона больших чисел. Он основан на иной математической базе - теории оптимизации, в то время как "классический" закон больших чисел использует суммирование. Упорядочения и другие бинарные отношения нельзя складывать, поэтому приходится применять иную математику. Рассмотрим пример вычисления медианы Кемени.
  Пример. Пусть дана квадратная матрица (порядка 9) попарных расстояний для множества бинарных отношений из 9 элементов А1 , А2 , А3 ,..., А9 (см. табл.3). Необходимо найти в этом множестве медиану для множества из 5 элементов {А2 , А4 , А5 , А8 , А9}.
 
 Табл. 3. Матрица попарных расстояний
 
 0 2 13 1 7 4 10 3 11 2 0 5 6 1 3 2 5 1 13 5 0 2 2 7 6 5 7 1 6 2 0 5 4 3 8 8 7 1 2 5 0 10 1 3 7 4 3 7 4 10 0 2 1 5 10 2 6 3 1 2 0 6 3 3 5 5 8 3 1 6 0 9 11 1 7 8 7 5 3 9 0
  В соответствии с определением медианы Кемени следует ввести в рассмотрение функцию
 С(А) = ? D(Ai ,A) = D(A2 ,A)+D(A4 ,A)+D(A5 ,A)+D(A8 ,A)+D(A9 ,A),
 рассчитать ее значения для всех А1 , А2 , А3 ,..., А9 и выбрать наименьшее. Проведем расчеты:
 С(А1) = D (A2 ,A1) + D (A4 ,A1) + D (A5 ,A1) +D (A8 ,A1) + D (A9 ,A1) =
 = 2 + 1 +7 +3 +11 = 24,
 С(А2) = D (A2 ,A2) + D (A4 ,A2) + D (A5 ,A2) +D (A8 ,A2) + D (A9 ,A2) =
 = 0 + 6 + 1 + 5 + 1 = 13,
 С(А3) = D (A2 ,A3) + D (A4 ,A3) + D (A5 ,A3) +D (A8 ,A3) + D (A9 ,A3) =
 = 5 + 2 + 2 + 5 +7 = 21,
 С(А4) = D (A2 ,A4) + D (A4 ,A4) + D (A5 ,A4) +D (A8 ,A4) + D (A9 ,A4) =
 = 6 + 0 + 5 + 8 + 8 = 27,
 С(А5) = D (A2 ,A5) + D (A4 ,A5) + D (A5 ,A5) +D (A8 ,A5) + D (A9 ,A5) =
 = 1 + 5 + 0 +3 + 7 = 16,
 С(А6) = D (A2 ,A6) + D (A4 ,A6) + D (A5 ,A6) +D (A8 ,A6) + D (A9 ,A6) =
 = 3 + 4 + 10 + 1 + 5 = 23,
 С(А7) = D (A2 ,A7) + D (A4 ,A7) + D (A5 ,A7) +D (A8 ,A7) + D (A9 ,A7) =
 = 2 + 3 +1 + 6 + 3 = 15,
 С(А8) = D (A2 ,A8) + D (A4 ,A8) + D (A5 ,A8) +D (A8 ,A8) + D (A9 ,A8) =
 = 5 + 8 + 3 + 0 +9 = 25,
 С(А9) = D (A2 ,A9) + D (A4 ,A9) + D (A5 ,A9) +D (A8 ,A9) + D (A9 ,A9) =
 = 1 + 8 + 7 + 9 + 0 = 25.
 Из всех вычисленных сумм наименьшая равна 13, и достигается она при А = А2, следовательно, медиана Кемени - это А2 .
  Обратим внимание на то, что минимум может достигаться не в одной точке, а в нескольких. Поэтому медиана Кемени - это, вообще говоря, не элемент соответствующего пространства, а его подмножество. Поэтому более правильно сказать, что данных табл.3 медиана Кемени - это множество {А2}, состоящее из одного элемента А2 , т.е. в условиях примера
 Arg min D (Ai ,A) = {А2}.
  В общем случае вычисление медианы Кемени - задача целочисленного программирования. В частности, для ее нахождения используется различные алгоритмы дискретной оптимизации, в частности, основанные на методе ветвей и границ. Применяют также алгоритмы, основанные на идее случайного поиска, поскольку для каждого бинарного отношения нетрудно найти множество его соседей.
  Разработано весьма много различных методов экспертного оценивания (см., например, обзор []).
 
 Цитированная литература
 
 1. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1983. - - 416 с.
 2. Шрейдер Ю.А. Равенство, сходство, порядок. М.: Наука, 1971.
 3. Горский В.Г., Орлов А.И., Гриценко А.А. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. №3. С. 159-167.
 4. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
 5. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.
 6. Орлов А.И. Экспертные оценки // Заводская лаборатория. 1996. Т.62. № 1. С.54-60.
 
 
 
 Глава 13. Эконометрические методы управления качеством
 и сертификации продукции
 
  Одна из наиболее важных прикладных областей эконометрики, приносящих наибольший доход в денежном выражении - это эконометрика качества, основанная на применении статистических методов для обеспечения надлежащего качества продукции. Японцы считают: "Все, начиная от председателя Совета Директоров и до рядового рабочего в цехе, обязаны знать хотя бы основы статистических методов." Основам эконометрических методов управления качеством и сертификации продукции посвящена настоящая глава.
 
 13.1. Основы статистического контроля качества продукции
 
  Сначала дадим общие сведения о месте статистических методов в управлении качеством и сертификации продукции. Затем рассмотрим центральную тему эконометрики качества - статистический контроль качества продукции. Продемонстрируем его высокую экономическую эффективность.
  Качество продукции и рыночная экономика. Руководители и специалисты промышленных предприятий хотят не только выжить, но и выиграть в борьбе с конкурентами. Более частными задачами, которые они хотят решить, обычно являются:
  - выйти на международный рынок;
  - поднять качество продукции до японского уровня;
  - полностью ликвидировать рекламации, и т.д.
 Для решения этих задач им надо повышать качество продукции. Все руководители и специалисты промышленных предприятий это хорошо знают, слова "сертификация", "международные стандарты ИСО серии 9000 по системам качества" уже навязли в зубах. Менее осознано, что управление качеством - это прежде всего применение современных статистических методов. На Западе (США) и на Востоке (Япония) это - аксиома. Вот типичное высказывание японского менеджера и инженера: "Методы статистики - именно то средство, которое необходимо изучить, чтобы внедрить управление качеством. Они - наиболее важная составная часть комплексной системы всеобщего управления качеством на фирме. В японских корпорациях все, начиная от председателя Совета Директоров и до рядового рабочего в цехе, обязаны знать хотя бы основы статистических методов." Так считает Каору Исикава, президент промышленного института Мусаси, заслуженный профессор Токийского университета (цитируется по японскому пособию по статистическим методам обеспечения качества [1, с.15]).
  Раз все японские работники знают про статистические методы - значит, их научили в школе. Во всем мире - в США, Японии и Ботсване - школьники учат статистические методы как один из обязательных школьных предметов, вместе с физикой, химией, математикой и историей. ЮНЕСКО регулярно проводит конференции по преподаванию статистики в средней школе. И вот всем виден результат - качество компьютеров IBM и японских телевизоров. А отечественные бюрократы десятилетиями "боролись за качество" (вспомните, была "пятилетка эффективности и качества"!), "внедряли" кипы бумаг - КС УКП ... (популярное сочетание в 1970-е и 1980-е годы: КС УКП - это Комплексная Система Управления Качеством Продукции; имелись областные варианты - горьковская, львовская, днепропетровская и т.д.).
  Справедливости ради надо отметить, что популярные ныне международные стандарты ИСО серии 9000 ничем принципиально не отличаются от давних документов КС УКП, а в некоторых отношениях КС УКП были более прогрессивными, чем нынешние стандарты ИСО 9000. В очередной раз придуманное в нашей стране попало на Запад, было там оформлено по-другому, а потом стало внедряться у нас как последнее достижение западной цивилизации...
  ИТОГ НА СЕГОДНЯ: весь мир, кроме нас, знает статистические методы и повсеместно применяет их для повышения качества. Мы вынуждены догонять. Очевидно, овладение основами статистического контроля качества продукции - неотъемлемая часть экономического и тем более эконометрического образования.
  О сертификации. Вслед за т. н. развитыми странами в России намечается всё расширяющаяся тенденция к сертификации продукции, т.е. к официальной гарантии поставки производителем продукции, удовлетворяющей установленным требованиям. Средства массовой информации отмечают, что в условиях рыночной экономики поставщики и продавцы должны иметь сертификаты качества на предлагаемые ими товары и услуги. Маркетинг, т.е. "производственная и коммерческая политика, нацеленная на получение максимальной прибыли на основе изучения рынка, создания конкурентоспособной продукции и её полной реализации" (определение взято из выпущенной нашим Центром брошюры [2, с.64-65]), включает в себя работы по сертификации. За новыми терминами зачастую скрываются хорошо известные понятия, несколько модернизированные в соответствии с современной обстановкой. Так, целесообразно связать комплексную систему управления качеством продукции с маркетингом: "маркетинг в широком смысле - это усовершенствованная, ориентированная на рыночную экономику КС УКП" [2,с.61].
  Есть несколько уровней сертификации. Говоря о сертификации продукции, могут иметь в виду качество конкретной её партии. В ряде случаев это оправдано - рядового потребителя интересует качество лишь той единицы продукции, которую он сам приобрёл. Однако установление долговременных хозяйственных связей целесообразно лишь в случае, когда поставщик гарантирует высокое качество не одной, а всех партий своей продукции. Очевидно, для этого должны быть проведены оценка и сертификация технологических процессов и производств, обеспечивающих выпуск этой продукции.
  Ещё больше повышается доверие к поставщику, если не только отдельные технологические процессы, но и всё предприятие в целом гарантированно выпускает продукцию высокого качества. Это обеспечивается действующей на предприятии системой качества, удовлетворяющей требованиям Международной организации по стандартизации (International Standartization Organization, сокращенно ISO, по-русски - ИСО), выраженным в системе стандартов ИСО 9000, о которых уже шла речь.
  В условиях рыночной экономики основная характеристика товара - его конкурентоспособность. Очевидно, производителю необходимо уметь оценивать конкурентоспособность перед запуском продукции в производство или началом работы по продвижению на зарубежный рынок. Одним из основных компонентов конкурентоспособности является технический уровень продукции. Фирма, обладающая патентом или новой научно-технической разработкой, имеет более высокий излишек производителя по сравнению с другими фирмами. При выборе направления инвестиционных вложений одна из основных учитываемых характеристик - технический уровень продукции.
  Из сказанного вытекает, что сертификация продукции - это современная форма управления качеством продукции. На Западе общепринято, что основная составляющая в управлении качеством продукции - это статистические методы (см., например, отчет Комитета ИСО по изучению принципов стандартизации [3]). В нашей стране внедрение комплексных систем управления качеством (КС УКП), как уже отмечалось, сводилось во многом к подготовке документации организационного характера. Статистические методы использовались в промышленности недостаточно, а государственные стандарты по этой тематике зачастую содержали грубейшие ошибки (см. ниже).
  Подготовка предприятий к сертификации продукции, технологических процессов и производств, систем качества требует приложения труда квалифицированных специалистов, причем в достаточно большом объеме. Подобную работу обычно проводят специализированные организации.
  О развитии статистических методов сертификации в России. Около 150 лет статистические методы применяются в России для проверки соответствия продукции установленным требованиям, т.е. для сертификации. Так, еще в 1846 г. действительный член Петербургской академии наук М.В. Остроградский рассматривал задачу статистического контроля партий мешков муки или штук сукна армейскими поставщиками. С тех пор в России в статистическом контроле качества было сделано многое, особенно в области теории: Так, солидные монографии проф. Ю.К. Беляева и проф. Я.П. Лумельского можно смело назвать классическими. Был выпущен и длинный ряд практических руководств, в основном переводных.
  С начала 1970-х годов стали разрабатываться государственные стандарты по статистическим методам. В связи с обнаружением в них грубых ошибок 24 из 31 государственного стандарта по статистическим методам были отменены в 1986-87 гг. (перечень стандартов и описание ошибок приведены в работе [4]). К сожалению, потеряв правовую силу как нормативные документы, ошибочные стандарты продолжают использоваться как научно-технические издания.
  В 1989 г. был организован Центр статистических методов и информатики (ЦСМИ) для работ по развитию и внедрению современных статистических методов. Уже к середине 1990 г. ЦСМИ были разработаны 7 диалоговых систем по современным статистическим методам управления качеством, а именно, СПК, АТСТАТ-ПРП, СТАТКОН, АВРОРА-РС, ЭКСПЛАН, ПАСЭК, НАДИС (описания этих систем даны в работе [5]).
  Параллельно ЦСМИ вел работу по объединению статистиков. В апреле 1990 г. в Большом Актовом Зале Московского Энергетического института прошла Учредительная конференция Всесоюзной организации по статистическим методам и их применениям. На Учредительном съезде Всесоюзной статистической ассоциации (ВСА) в октябре 1990 г. в Московском экономико-статистическом институте эта организация вошла в состав ВСА в качестве секции статистических методов. В 1992г. после развала СССР и фактического прекращения работы ВСА на основе секции статистических методов ВСА организована Российская ассоциация по статистическим методам (РАСМ), а затем и Российская академия статистических методов, существующие и в настоящее время. В мероприятиях секции статистических методов ВСА и РАСМ активно участвовали несколько сот человек. Основной тематикой работ многих из этих специалистов являются статистические методы в сертификации (управлении качеством). В ЦСМИ и РАСМ, объединивших большинство ведущих российских специалистов, коллективными усилиями разработан единый подход к проблемам применения статистических методов в сертификации и управлении качеством.
  Статистический контроль - это выборочный контроль на научной основе. Контроль качества продукции всем знаком хотя бы по названию - им обычно занимается отдел технического контроля (ОТК) предприятия. Есть различные виды контроля - входной контроль, приемочный контроль (готовой продукции), и контроль при передаче полуфабрикатов и комплектующих из цеха в цех. Кроме сплошного контроля всех изделий подряд применяют выборочный, когда о качестве партии продукции судят по результатам контроля некоторой части - выборки.
  Зачем нужен выборочный контроль? Чтобы проверить качество спички - надо чиркнуть ею. Загорится - должное качество, не загорится - брак. Но повторно однажды зажженную спичку использовать уже нельзя. Поэтому партию спичек можно контролировать только выборочно. Партии консервов, лампочек, патронов - тоже. Т.е. при разрушающем контроле необходимо пользоваться выборочными методами и судить о качестве партии продукции по результатам контроля её части - выборки.
  Выборочные методы контроля могут применяться и из экономических соображений, когда стоимость контроля высока по сравнению со стоимостью изделия. Например, вряд ли целесообразно визуально проверять качество каждой скрепки в каждой коробке.
  Для проведения выборочного контроля необходимо сформировать выборку, выбрать план контроля. А если план имеется - полезно знать его свойства. Анализ и синтез планов проводят с помощью математического моделирования на основе теории вероятностей и математической статистики, применяя компьютерные диалоговые системы (пакеты программ).
  Зачем нужны диалоговые системы по статистическому контролю? Раньше, действительно, ОТК формально применяли планы контроля из ГОСТов на конкретную продукцию, а реальное качество выпускаемых изделий никого не интересовало. Сейчас - ситуация начинает меняться. С декабря 1990 г. обязательность большинства ГОСТов отменена (в части основных показателей качества, кроме показателей безопасности). У промышленности сняты кандалы. Но - со становлением рыночной экономики появляются конкуренты. В том числе зарубежные. Руководителям производства приходится отлаживать систему контроля качества не для галочки, не по приказу обкома, а для повышения доходов предприятий. А потому - и собственных тоже.
  Компьютерные диалоговые системы позволяют прежде всего проводить анализ и синтез планов контроля. Пусть перед Вами - прежний ГОСТ на продукцию, в нем есть раздел "Правила приемки" с планами контроля. Хороша эта система планов или плоха? С помощью диалоговых систем Вы найдете характеристики конкретного плана, приемочный и браковочный уровни дефектности (см. ниже) и т.д. Можно провести и синтез планов, т.е. компьютер подберет план, удовлетворяющий Вашим условиям.
  Российской ассоциацией статистических методов были проанализированы сотни стандартов на конкретную продукцию (разделы "Правила приемки") и ГОСТы по статистическим методам. Обнаружено, что более половины и тех и других стандартов содержат грубые ошибки, пользоваться ими нельзя. Причины этого печального положения проанализированы в статье [4]. В отличие от ГОСТов, диалоговым системам ЦСМИ по статистическому контролю верить можно и нужно. И экономически выгодно. По оценкам, полученным в работе [6], применение современных статистических методов позволяет в среднем вдвое сократить трудозатраты на контрольные операции (как известно, на них расходуют примерно 10% от стоимости машиностроительной продукции). Следовательно, от внедрения современных эконометрических методов обеспечения качества продукции Россия может получить более 5 миллиардов долларов США дополнительного дохода в год.
  Приведем ещё два сообщения о высокой экономической эффективности статистического контроля. "Мы документально зафиксировали экономию от применения методов статистического контроля и методов разрешения проблем, которым обучили наших сотрудников. Мы приближаемся к степени окупаемости около 30 долларов на 1 вложенный доллар. Вот почему мы получили такую серьезную поддержку от высшего руководства", - сообщает Билл Виггенхорн, ответственный за подготовку специалистов фирмы "Моторола" (цитируем по статье [7]).
  По подсчетам профессора Массачусетского технологического института Фримена (см. монографию [8]), только статистический приемочный контроль давал промышленности США 4 миллиарда долларов в 1958 г. (это более 20 миллиарда долларов в ценах 2001 г.), т.е. 0,8% ВВП - Валового Внутреннего Продукта.
  На наш взгляд, российским предпринимателям и менеджерам промышленных предприятий целесообразно равняться на японских коллег - знать хотя бы основы статистических методов, т.е. эконометрики, и активно их применять, постоянно консультируясь со специалистами-эконометриками.
  Основы статистического контроля. Выборочный контроль, построенный на научной основе, т.е. исходящий из теории вероятностей и математической статистики, называют статистическим контролем. Предпринимателя и менеджера выборочный контроль может интересовать не только в связи с качеством продукции, но и в связи, например, с контролем экологической обстановки, поскольку зафиксированные государственными органами экологические нарушения влекут штрафы и иные "неприятные" последствия. Обсудим основные подходы статистического контроля.
  При статистическом контроле решение о генеральной совокупности - об экологической обстановке в данном регионе или о партии продукции - принимается по выборке, состоящей из некоторого количества единиц (единиц экологического контроля или единиц продукции). Следовательно, выборка должна представлять партию, т.е. быть репрезентативной (представительной). Как эти слова понимать, как проверить репрезентативность? Ответ может быть дан лишь в терминах вероятностных моделей выборки.
  Наиболее распространенными являются две вероятностные модели-биномиальная и гипергеометрическая. В биномиальной модели предполагается, что результаты контроля n единиц можно рассматривать как совокупность n независимых одинаково распределенных случайных величин Х1, Х2,....,Хn , где Хi = 1, если i-ое измерение показывает, что есть нарушение, т.е. превышено ПДК (предельная норма концентрации) или i-ое изделие дефектно, и Хi= 0, если это не так. Тогда число Х превышений ПДК или дефектных единиц продукции в партии равно
 Х= Х1+ Х2+...+ Хn .(1)
 Из формулы (1) и Центральной Предельной Теоремы теории вероятностей вытекает, что при увеличении объема выборки n распределение Х сближается с нормальным распределением. Известно, что распределение Х имеет вид
 Р( Х= k) = Cnk pk (1-p)n-k , (2)
 где Cnk - число сочетаний из n элементов по k, а p -уровень дефектности (в другой предметной области - доля превышений ПДК в генеральной совокупности), т.е. p = Р( Хi= 1). Формула (2) задает так называемое биномиальное распределение.
  Гипергеометрическое распределение соответствует случайному отбору единиц в выборку. Пусть среди N единиц, составляющих генеральную совокупность, имеется D дефектных. Случайность отбора означает, что каждая единица имеет одинаковые шансы попасть в выборку. Мало того, ни одна пара единиц не должна иметь при отборе в выборку преимущества перед любой другой парой. То же самое -для троек, четверок и т.д. Это условие выполнено тогда и только тогда, когда каждое из сочетаний по n единиц из N имеет одинаковые шансы быть отобранным в качестве выборки. Вероятность того, что будет отобрано заранее заданное сочетание, равна, очевидно, 1/ .
  Отбор случайной выборки согласно описанным правилам организуют при проведении различных лотерей. Пусть Y -число дефектных единиц в случайной выборке, организованной таким образом. Известно, что тогда P (Y = k) - гипергеометрическое распределение, т.е.
  (3)
 Замечательный математический результат состоит в том, что биномиальная и гипергеометрическая модели весьма близки, когда объем генеральной совокупности (партии) по крайней мере в 10 раз превышает объем выборки. Другими словами, можно принять, что
 Р( Х = k) = P ( Y = k ), (4)
 если объем выборки мал по сравнению с объемом партии. При этом в качестве p в формуле (4) берут D/N. Близость результатов, получаемых с помощью биномиальной и гипергеометрической моделей, весьма важна с философской точки зрения. Дело в том, что эти модели исходят из принципиально различных философских предпосылок. В биномиальной модели случайность присуща каждой единице - она с какой-то вероятностью дефектна, а с какой-то - годна. В то же время в гипергеометрической модели качество определенной единицы детерминировано, задано, а случайность проявляется лишь в отборе, вносится экологом или экономистом при составлении выборки. В науках о человеке противоречие между аналогичными моделями выборки еще более выражено. Биномиальная модель предполагает, что поведение человека, в частности, выбор им определенного варианта при ответе на вопрос, определяется с участием случайных причин. Например, человек может случайно сказать "да", случайно-"нет". Некоторые философы отрицают присущую человеку случайность. Они верят в причинность и считают поведение конкретного человека практически полностью детерминированным. Поэтому они принимают гипергеометрическую модель и считают, что случайность отличия ответов в выборке от ответов во всей генеральной совокупности определяется всецело случайностью, вносимой при отборе единиц наблюдения в выборку.
  Соотношение (4) показывают, что во многих случаях нет необходимости принимать чью-либо сторону в этом споре, поскольку обе модели дают близкие численные результаты. Отличия проявляются при обсуждении вопроса о том, какую выборку считать представительной. Является ли таковой выборка, составленная из 20 изделий, лежащих сверху в первом вскрытом ящике? В биномиальной модели - да, в гипергеометрической - нет.
  Биномиальная модель легче для теоретического изучения, поэтому будем её рассматривать в дальнейшем. Однако при реальном контроле лучше формировать выборку, исходя из гипергеометрической модели. Это делают, выбирая номера изделий (для включения в выборку) с помощью датчиков псевдослучайных чисел на ЭВМ (см. главу 11) или с помощью таблиц псевдослучайных чисел. Алгоритмы формирования выборки встраивают в современные программные продукты по статистическому контролю.
  Планы статистического контроля и правила принятия решений. Под планом статистического контроля понимают алгоритм, т.е. правила действий, на входе при этом-генеральная совокупность (партия продукции), а на выходе-одно из двух решений: "принять партию" либо "забраковать партию". Рассмотрим несколько примеров.
  Одноступенчатые планы контроля (n,c): отобрать выборку объема n; если число дефектных единиц в выборке X не превосходит c, то партию принять, в противном случае забраковать. Число с называется приемочным.
 Частные случаи: план (n,0) -партию принять тогда и только тогда, когда все единицы в выборке являются годными; план (n,1) - партия принимается, если в выборке все единицы являются годными или ровно одно - дефектное, во всех остальных случаях партия бракуется.
  Двухступенчатый план контроля (n,a,b) + (m,c): отобрать первую выборку объема n; если число дефектных единиц в первой выборке X не превосходит a , то партию принять; если число дефектных единиц в первой выборке X больше или равно b, то партию забраковать; во всех остальных случаях, т.е. когда Х больше a, но меньше b, следует взять вторую выборку объема m; если число дефектных единиц во второй выборке Y не превосходит c, то партию принять, в противном случае забраковать.
  Рассмотрим в качестве примера план (20, 0, 2) + (40, 0). Сначала берется первая выборка объема 20. Если все единицы в ней - годные, то партия принимается. Если две или больше - дефектные, партия бракуется. А если только одно - дефектное? В реальной ситуации в таких случаях начинаются споры между представителями предприятия и экологического контроля, или поставщика и потребителя. Говорят, например, что дефектная единица случайно попала в партию, что ее подсунули конкуренты или что при контроле случайно сделан неправильный вывод. Поэтому, чтобы споры пресечь, берут вторую выборку объема 40 (вдвое большего, чем в первый раз). Если все единицы во второй выборке - годные, то партию принимают, в противном случае - бракуют.
  В реальной нормативно-технической документации - договорах на поставку, стандартах, технических условиях, инструкциях по экологическому контролю и т.д. - не всегда четко сформулированы планы статистического контроля и правила принятия решений. Например, при описании двухступенчатого плана контроля вместо задания приемочного числа с может стоять загадочная фраза "результат контроля второй выборки считается окончательным". Остается гадать, как принимать решение по второй выборке. Менеджер, администратор (государственный служащий), эколог или экономист, занимающийся вопросами экологического контроля или контроля качества, должен первым делам добиваться кристальной ясности в формулировках правил принятия решений, иначе ошибочные и необоснованные решения, а потому и убытки неизбежны.
  Оперативная характеристика плана статистического контроля. Каковы свойства плана статистического контроля? Они, как правило, определяются с помощью функции f(p), связывающей вероятность p дефектности единицы контроля с вероятностью f(p) положительной оценки экологической обстановки (приемки партии) по результатам контроля. При этом вероятность p того, что конкретная единица дефектна, называется входным уровнем дефектности, а указанная функция называется оперативной характеристикой плана контроля. Если дефектные единицы отсутствуют, р = 0, то партия всегда принимается, т.е. f(0) = 1. Если все единицы дефектные, р = 1, то партия наверняка бракуется, f(1) = 0. Между этими крайними значениями р функция f(p) монотонно убывает.
 Вычислим оперативную характеристику плана (n,0). Поскольку партия принимается тогда и только тогда, когда все единицы являются годными, а вероятность того, что конкретная единица-годная, равна (1-р), то оперативная характеристика имеет вид
 f(p) = Р(Х=0) = (1-р)n. (5)
 Для плана (n,1) оперативная характеристика, как легко видеть, такова:
 f(p) = Р(Х=0)+Р(Х=1) = (1-р)n + n (1-р)n-1 (6)
 Оперативные характеристики для конкретных планов статистического контроля не всегда имеют такой простой вид, как в случае формул (5) и (6). Рассмотрим в качестве примера план (20, 0, 2) + (40, 0). Сначала найдем вероятность того, что партия будет принята по результатам контроля первой партии. Согласно формуле (5) имеем:
 f1(p) = Р(Х=0) = (1-р)20.
 Вероятность того, что понадобится контроль второй выборки, равна
 Р(Х=1) = 20(1-р)19.
 При этом вероятность того, что по результатам её контроля партия будет принята, равна
 f2(p) = Р(Х=0) = (1-р)40.

<< Пред.           стр. 12 (из 17)           След. >>

Список литературы по разделу