ГРИГОРЬEВ С И РАСТОВ Ю E ОСНОВЫ СОВРEМEННОЙ СОЦИОЛОГИИ УЧEБНОE ПОСОБИE ИЗД-ВО АЛТАЙСКОГО ГОСУДАРСТВEННОГО УНИВEРСИТEТА 2001 286 С 7

3. шифровка конвертов;
4. вложение в почтовые отправления чистого конверта для возврата анкеты;
5. напоминание респондентам о необходимости возврата заполнения анкеты (телефоном, почтой и иными средствами).

4.4.5. Телефонный опрос

Телефонный опрос - специфический синтез анкетирования и интервьюирования, используемый, как правило, в рамках одного города или иного населенного пункта. Популярность использования этого метода в современных российских условиях повышается, особенно, в периоды избирательных кампаний.
Основные преимущества: оперативность, краткосрочность и экономичность. Главный недостаток: обусловлен невозможностью соблюдения правила репрезентативности выборки. Это обстоятельство обусловленно отсутствием телефонов у определенных социальных групп населения; большим количеством отказов абонентов от опроса по разнообразным причинам и поводам; многими другими факторами.
Обязательные требования к методу:
1. предварительное изучение карты города, мест контактного проживания представителей разных социальных групп, расположения АТС;
2. разработка специального инструмента, включающего картограмму опроса, опросных бланков и кодировочных листов, дневника и протокола опроса, обстоятельной инструкции интервьюерам;
3. наличие телефонных справочников;
4. соблюдение заранее установленного шага (интервала) при наборе номера телефонов одной АТС;
5. особая подготовка, в том числе, специальный тренинг телефонных интервьюеров;
6. повышенная требовательность к их честности;
7. обязательность контроля за их деятельностью;
8. перепроверка полученных данных путем выборочных контрольных опросов опрошенных абонентов.

4.4.6. Факсовый (телетайпный, телеграфный) опрос

Факсовый (телетайпный, телеграфный) опрос - редко используемая в собственно научных целях форма проведения анкетирования, при которой в качестве единиц отбора респондентов выступают учреждения и организации, имеющие факсовую, телетайпно-телеграфную или иную электронную связь с социологическим центром. Встречается в двух разновидностях, отличающихся реальным составом респондентов. В первой - респондентами выступают руководители означенных предприятий и учреждений, во второй - круг респондентов расширен за счет опроса руководителями (или социологами) тех лиц, которые определены организаторами опроса.
Главное достоинство метода - сверхоперативность и экспертная значимость получаемой информации. Недостатки: предельно сжатый вопросник (не более пяти позиций), закрытость вопросов и ограниченность вариантов ответов (не более семи).

4.4.7. Телевизионный экспресс-опрос

Телевизионный экспресс-опрос - метод сбора не столько социологической, сколько политологической информации, используемый ведущими политических телевизионных программ. Техника этого метода предполагает:
1. формулирование телеведущим одного наиболее актуального вопроса;
2. мотивирование телезрителей на высказывание своего ответа на поставленный вопрос в форме либо "да", либо "нет";
3. просьбу к телезрителям немедленно позвонить по указанному телефону и продекларировать свою позицию до окончания данной телепередачи (т.е. в течение, 20-30 мин);
4. оперативный подсчет кода опроса с демонстрацией этого подсчета на электронном табло;
5. комментирование полученных результатов.
Этот привлекательный для многих прием тележурналистики способен дать только поверхностное представление об общественном мнении вообще, по поставленному вопросу, в частности. Он не может выявить умонастроения всего народа, т.к. данную телепередачу видели не все, а возможность позвонить в телестудию имели только немногие. Тем не менее, этот метод может использоваться в социологических исследованиях, естественно, без претензий на роль главного и объективного.
Референдумы, плебисциты и иные общенародные голосования - политические мероприятия, которые связаны с опросом населения, а поэтому должны быть использованы для социологического анализа общественного мнения и степени социальной напряженности. К сожалению, при разработке вопросов, выносимых на народное голосование, научные нормативы нарушаются в угоду политическим интересам и амбициям их представителей. Это резко снижает социологическую ценность их результатов, но не исключает целесообразности их учета в исследовательской работе, например, при конструировании гипотез.
Экспертные опросы - специфический вид опросов, не имеющих массового характера, но играющих важную роль в эмпирической социологии и все чаще используемый ею. Поэтому он нуждается в подробной характеристике, чему будет посвящен следующий параграф и один из параграфов пятой главы.

4.5. Выявление экспертных оценок

Экспертом признается респондент, компетентный в проблемах, непосредственно связанных с предметом исследования. Опрос таких лиц называется экспертным, а установленные в его ходе суждения респондентов о свойствах изучаемого явления - экспертными оценками.
Выявление экспертных оценок необходимо при анализе наиболее существенных аспектов исследуемой проблемы, особенно в ситуациях дискуссионности их трактовок или фактического отсутствия определенности в их осмыслении наукой. В таких случаях он выступает в роли основного метода исследования, программа его проведения отражается в общей программе исследования. Если же данный метод играет вспомогательную роль, добавляя информацию к полученной иными методами, то исследователи обязаны составить особую (самостоятельную) программу его реализации. Главными ее компонентами будут формулировки, четко фиксирующие: а) проблемную (дискуссионную, нерешенную наукой) ситуацию, б) терминологию экспертных оценок (путем операционализации общих понятий), в) гипотезы, выносимые на экспертизу, г) комплекс требований, на основе которых будет производиться подбор экспертов (критерии их компетентности), д) индикаторы, позволяющие измерять суждения экспертов, е) инструментарий этих замеров и первичной обработки данных, ж) правила проведения и сценарий экспертизы, т.е. процедуры согласования и интегрирования оценок экспертов.
Последний компонент нуждается в пояснении. Речь идет не о тех общих правилах, которые используются социологами при количественном анализе данных исследования, не о приемах математического и статистического анализа информации, а о специальных процедурах, которые будут охарактеризованы в разделе 5 следующей главы.
При определении конкретного состава экспертов надлежит руководствоваться не только и не столько компетентностью экспертов, сколько валидностью их заключений. Как свидетельствует опыт, нередки случаи, когда компетентность эксперта не дает адекватной валидности. Это объясняется многими обстоятельствами, в разной мере зависимыми от монитора, т.е. исследователя, организующего экспертный опрос и проводящего экспертизу.
Ряд этих обстоятельств имеет психологическое свойство. Эксперт с задатками лидера стремится к доминированию своих оценок, настаивая на них даже тогда, когда внутренне сомневается в их истинности. Человек конформистского склада ведет себя прямо противоположным образом, а конфликтогенный - склонен к оспариванию даже тех мнений других людей, с которыми по существу согласен. Большинству людей присуще смещать свои оценки в стороны нейтральной середины, а часть экспертов заинтересована в преднамеренном искажении информации. Все это, конечно, должно учитываться монитором.
Но еще более важно иметь в виду то, что расхождение между компетентностью и валидностью экспертных оценок - неизбежное следствие нарушения следующих правил организации и проведения экспертизы:
1. Понятийная строгость, однозначность используемых категорий, подготовка в сложных случаях специальных словарей, растолковывающих значение некоторых понятий, использование им всеми экспертами в ходе экспертизы.
2. Четкое определение цели всех аспектов экспертизы и каждого из них в отдельности, их соответствие исследовательским задачам и гипотезам.
3. Тщательный подбор экспертов на основе продуманно сконструированной модели идеального эксперта и критериев, вытекающих из этой модели.
4. Соблюдение правила оптимума численности экспертов, т.е. учет того, что ограничение состава экспертов ведет к росту веса оценки каждого эксперта, и расширение их состава затрудняет интегрирование экспертных оценок, (то и другое увеличивает риск принятия монитором ошибочных выводов).
5. Апробация всего инструментария как экспертного опроса, так и последующих процедур сопоставления и согласования оценок экспертов.
6. Информационная изоляция экспертов друг от друга на первом этапе (туре) экспертного опроса.
7. Налаживание теснейшего творческого взаимодействия экспертов на последующих этапах экспертизы (после установления меры валидности полученных оценок).
8. Безупречное знание монитором и практическое применение им конкретных методик интенсивного группового взаимодействия экспертов на завершающем этапе экспертизы.
В следующей главе мы вернемся к этим правилам согласования экспертных оценок, покажем их эвристическую и практическую значимость, а также технологию их интегрирования.

4.6. Социометрические методики

Термин "социометрия" имеет три основных смысла. Им обозначают:
1. теорию малых (непосредственно контактных) групп, созданную Дж. Морено 89>>>;
2. всякие математизированные процедуры измерения социальных процессов и явлений (исходя из этимологии этого слова, произведенного (от латинского societas - общество и греческого metreo - измеряю);
3. совокупность методик исследования психоэмоциональных отношений друг к другу членов социальных групп, характеризующихся небольшой численностью и опытом совместной жизнедеятельности.
Нас интересует последнее значение данного понятия.
Социометрические методики используются социологами для выявления:
* неофициальных лидеров малых групп, т.е. таких их членов, которые оказывают наибольшее воздействие на других;
* "изгоев" коллектива, т.е. людей отвергаемых большинством группы;
* кандидатов, заслуживающих рекомендации к выдвижению на должности официальных руководителей коллективов;
* характера социально-психологического климата коллектива и тенденций его трансформирования;
* дифференциации первичных (т.е. официально не разделяющихся на более мелкие составляющие) коллективов на реально сложившиеся в нем социально-психологические группировки;
* причин и движущих сил внутриколлективных конфликтов (межличностных, личностно-групповых и межгрупповых);
* многих иных проблем, решение которых способно оптимизировать деятельность первичных трудовых коллективов и иных малых социальных групп.
Нужно заметить, что при решении вышеназванных задач социометрические методики могут играть роль как главных, так и дополнительных методов. Но в любом случае они обязательно сопрягаются с другими методами - анализом соответствующей документации, наблюдением, интервьюированием, экспертным опросом, тестированием и др.
Социометрические методики включают в себя специальные техники опроса, обработки и интерпретации данных. Развитие социометрии привело к расширению ее методов за счет включения в них двух форм группового тренинга: социодрамы, суть которой заключена в проигрывании различных социальных ситуаций, и психодрамы - проигрывании возможных моделей межличностного общения с целью профилактирования неадекватных эмоциональных реакций. Поскольку групповой тренинг относится к качественным методам социогуманитарных исследований, постольку в данной главе о них говорить не будем. Сосредоточим внимание на методиках получения, обработки и интерпретации социометрических данных.
Любое социометрическое исследование начинается с получения предварительной информации об обследуемом объекте путем изучения имеющейся документации о нем, в т.ч. списка членов группы, оценок данной группы и ее членов экспертами, наблюдения за условиями жизнедеятельности коллектива и поведением его членов. На этом этапе исследователь обязан завоевать доверие группы, пробудить интерес ее членов к исследованию, их желание дать искренние ответы на вопросы социометрической анкеты, определить такое время (и место) для проведения социометрического опроса, которое обеспечит участие в нем всех членов группы.
Социометрический опрос - вторая фаза характеризуемого исследования и главное средство получения социометрической информации. Он принципиально отличается от всех иных социологических опросов. Результатом интервьюирования, анкетирования, прессовых, телефонных и других охарактеризованных ранее опросов выступает информация, позволяющая распределить респондентов на статистические группы по признаку, соответствующему содержанию каждого вопроса. В социометрическом опросе достигается иная цель. Каждому члену коллектива предлагается выбрать тех его членов, которые соответствуют, по мнению выбирающего, определенному социометрическому критерию. Эти критерии формулируются в самых вопросах, например, так: "С кем из членов Вашей бригады Вы бы хотели вместе работать, а с кем нет? Кого из членов Вашей бригады Вы бы оставили в ней, если бы бригада формировалась заново? Если возникнет необходимость сократить численность Вашей бригады, то кого, на Ваш взгляд, следовало бы уволить в первую очередь?" Ответы на вопросы такого рода всех членов группы позволяют выявить контуры сложившейся в ней структуры социально-психологических отношений, прежде всего, по вектору взаимных симпатий и антипатий.
Социометрические опросы не могут быть в полной мере анонимными - по фамилиям, фигурирующим в ответах, исследователь определяет, кто эти ответы дал. Это обстоятельство может привести к снижению меры искренности ответов. Чтобы уменьшить эту опасность, применяются специальные процедуры. При инструктировании респондентов исследователь тщательно разъясняет научный характер опроса, гарантирует сохранение тайны ответов каждого. После инструктажа на время уходит из того помещения, где опрашиваемые заполняют вопросник. Получив заполненную анкету, социолог сразу прячет ее, дабы исключить возможность ознакомления с ней как членов коллектива, их руководителей, так и посторонних лиц.
Третья фаза - особая обработка полученной информации, ее преобразование либо в социограмму, либо в социоматрицу, либо в то и другое.
Социограмма - рисунок, на котором члены группы изображаются в виде либо точек, либо геометрических фигур (квадратиков, ромбиков, треугольников, кружков и т.д.), символизирующих их должность, пол, возраст, национальность и т.п. Эти фигуры соединяются стрелками, отражающими характер их отношений. Если, скажем, Иванов выбрал Петрова, то от символа Иванова к символу Петрова проводится стрелка условленного цвета и/или формы. Если Петров отверг Иванова, то от символа Петрова к символу Иванова рисуется стрелка другой формы и/или другого цвета, а если Петров относится к Иванову индифферентно (и не выбрал его, но не отверг), то стрелка должна иметь третью форму или цвет. Социограмма образуется тогда, когда по означенному принципу будут изображены все связи симпатии, антипатии и индифферентности между всеми членами группы (cм. схему 1).
Схема 1. Упрощенный образец социограммы условной пятичленной рабочей бригады В данном примере социограммы использованы следующие условные обозначения:
* квадрат символизирует официального руководителя,
* кружки - рядовых рабочих бригады,
* сплошная линия - позитивный выбор,
* загзагообразная линия - негативный выбор, отвержение,
* прерывистая линия - индифферентное, безразличное отношение, отсутствие как позитивного, так и негативного выбора,
* указатели стрелок - направленность выбора от выбравшего к выбранному лицу,
* двухсторонняя стрелка - равнозначный взаимный выбор,
* буквы внутри геометрических фигур - начальные буквы фамилий членов бригады (бригадир Иванов, рабочие Петров, Сидоров, Федоров, Денисов).
Расшифруем приведенную социограмму. Из нее явствует, что бригадир симпатизирует Петрову, Федорову и Денисову, но его позитивно оценивает только один из подчиненных - Денисов. Трое рабочих (Петров, Сидоров и Федоров) отвергают Иванова как бригадира, при этом отношения Иванова и Сидорова характеризуются взаимной антипатией. Сидорова в позитивном плане выбрал только Петров, а Денисов и Федоров безразличны к нему. Последние имеют по два позитивных выбора, их статус в группе выше, чем у Сидорова и Иванова. Самую прочную позицию в данной группе занимает Петров, имеющий максимально возможное в пятичленке количество позитивных выборов - четыре. Это значит, что Петров - неофициальный лидер данного коллектива. Поскольку Петров отвергает Иванова как официального руководителя и пользуется поддержкой всех остальных рабочих, постольку очевидно, что основными конфликтерами в этом коллективе выступают Петров и Иванов. На основе социограммы можно предположить, что Сидоров, находящийся в отношениях взаимной симпатии с неофициальном лидером и взаимной неприязни с бригадиром, может играть во внутриколлективных конфликтах роль их инициатора, провокатора или организатора.
Рассматриваемый рисунок относится к той разновидности социограмм, которую называют социограммой-звездой, т.к. она обнаруживает "звезду" (неофициального лидера) группы и внешне напоминает форму звезды. Она, как видим, весьма информативна, позволяет увидеть в изучаемом объекте то, что не фиксируется другими методами. Еще большей информативностью и наглядностью характеризуются другие разновидности социограмм.
Речь идет, прежде всего, о социограмме-мишени, в которой символические обозначения членов группы располагаются в пределах концентрического круга, причем их расстояние от центра данного круга определяется показателе м их социометрического статуса. Чем ниже статус, т.е. чем меньше позитивных и больше негативных выборов получил член группы, тем дальше от центра будет его символ.
Третья разновидность социограмм называется локограммой, представляющей чертеж, на котором символы членов группы располагаются адекватно их реальному размещению в помещении (на рабочих местах в цехе, за своими столами в конторе, за партами в школьном классе и т.п.).
Четвертая разновидность - социограмма-гроздь, позволяющая обнаружить и наглядно представить социально-психологические группировки коллектива. В рисунках данного типа величина расстояния между символами членов коллектива определяется и характером и интенсивностью межличностных связей, в силу чего образуются, как правило, две-три "грозди", символизирующие сложившиеся группировки.
Названные виды социограмм используются в научных целях представителями многих социогуманитарных дисциплин. Социологи, социальные психологи и конфликтологи не ограничиваются применением только их, используют более сложные модели-рисунки внутриколлективных взаимосвязей и отношений.
Важно обратить внимание на то, что социограммы могут делаться не только по одному социометрическому критерию (вопросу), но и по двум, трем и большему их числу. В таких случаях социограммы приобретают весьма сложный вид (ибо испещрены множеством разноцветных и разноформенных стрелок), что осложняет их осмысление и соответствующие подсчеты. Эти трудности преодолеваются с помощью компьютерной техники.
Все разновидности социограмм с математической точки зрения предстают ориентированными графами. Поэтому они могут и должны анализироваться на основе той отрасли дискретной математики, которая называется теорией графов.
Социоматрица - иной способ обобщения и обработки данных, полученных социометрическим опросом. По форме она напоминает таблицу итогов спортивного соревнования, например, футбольного или шахматного чемпионата. В левой и верхней части социоматрицы обозначаются фамилии членов группы, причем первое место отдается официальному руководителю (см. схему 2). Заштрихованность ряда клеток таблицы объясняется тем, что социометрический опрос исключает возможность самовыбора. В свободных клеточках проставляется один из трех символов: знак + (плюс) означает позитивный выбор, знак - (минус) - негативный выбор, а знак 0 (ноль) - отсутствие как позитивного, так и негативного выбора, т.е. индифферентное отношение выбирающего к другим членам группы. С правой стороны матрицы содержится суммарное выражение позитивных, негативных, индифферентных выборов, сделанных каждым членом группы. Внизу таблицы дается сумма (?) выборов группой каждого своего члена.
№
п/п Фамилии Шутов Попов Конев Носов Салин Фомин Львов Рогов Ежов Ивкин ? (сумма выборов) + - 0 1 Шутов * + - + + 0 + - 0 + 5 2 2 2 Попов + * - + + + + 0 - - 5 3 1 3 Конев - + * 0 0 + 0 + + - 4 2 3 4 Носов - + 0 * + - - + + 0 4 3 2 5 Салин + - + 0 * + - 0 + + 5 2 2 6 Фомин - + 0 - + * + 0 - - 3 4 2 7 Львов + + - 0 + + * 0 - + 5 2 2 8 Рогов + + - + - - + * + - 5 4 0 9 Ежов - + - 0 - - + - * + 3 5 1 10 Ивкин + + + + 0 - - - 0 * 4 3 2 Итого: ?(+) 5 8 2 4 5 4 5 2 4 4 43 40 17 ?(-) 4 1 5 1 2 4 3 3 3 4 ?(0) 0 0 2 4 2 1 1 4 2 1 Схема 2. Образец социоматрицы рабочей бригады Социоматрица, по сути дела, содержит в себе ту же информацию, которую несут социограммы. В сравнение с последними они проигрывают в наглядности, но выигрывают в том отношении, что облегчают исчисление социометрических индексов, т.е. количественных показателей, характеризующих структуру межличностных отношений в группе и положение (статус) каждой личности в этой структуре.
Различают две группы социометрических индексов - персональные (индивидуальные) и групповые (коллективные). Среди персональных чаще всего используются индексы социометрического статуса личности, эмоциональной экспансивности личности, взаимности позитивных выборов, взаимности негативных выборов и взаимной индифферентности. Исчисление каждого из этих индексов осуществляется по специальным математическим формулам, имеющим довольно сложный вид. Мы охарактеризуем их в предельно упрощенном виде.
Индекс социометрического статуса личности в группе определяется следующим образом:
, где:
?(+) - сумма позитивных выборов этой личности группой;
?(-) - сумма негативных выборов этой личности группой;
N - количество членов группы.
Используя эту формулу (она преднамеренно облегчена в сравнении с используемой квалифицированными социологами) и данные вышеприведенной матрицы (см. ее нижнюю итоговую часть), определим, для примера, социометрический статус бригадира Шутова. Он измеряется показателем 0,11, ибо: . Самый высокий статус имеет Попов, т.к. . Статус Конева выражается отрицательный величиной . Минусовой статус и у Рогова . У Фомина и Ивкина нулевой статус , у остальных он ниже, чем у Попова, но выше, чем у бригадира (кроме Ежова, имеющего такой же показатель, как у бригадира).
Максимально высокий социометрический статус личности равен плюс 1, а максимально низкий - минус 1. Первый возможен в случае только позитивного избрания личности всеми другими членами группы, а второй - в ситуации негативной оценки личности всеми одногруппниками без единого исключения. В реальных социальных группах эти крайности практически не встречаются. Показатели социометрического статуса колеблются между крайностями. Чем ближе этот показатель к плюс 1, тем больше оснований для вывода, согласно которому человек, имеющий такой высокий статус, играет в данной группе роль неофициального лидера. В противоположной ситуации, т.е. при приближении статусного показателя к минус 1, должно возникнуть предположение об обнаружении "отверженного" члена коллектива, его "изгоя".
Однако эти заключения имеют предварительный характер и должны быть проверены исчислением других индексов, как персональных, так и групповых.
Индексы эмоциональной экспансивности членов группы определяется на основе суммарных данных матрицы, находящихся в ее правой стороне, исходя из следующей упрощенной формулы:
, где:
?(+) - сумма позитивных выборов данной личностью других членов группы,
?(-) - сумма аналогичных выборов, имеющих негативный смысл,
N - количество членов группы.
Продолжим наш пример. Самая высокая экспрессивность присуща Рогову , а самая низкая Коневу . Вспомним, что у того и другого минусовой статус (-0,11 и -0,33, соответственно). Это значит, что у Рогова больше шансов утвердиться в данной бригаде, чем у Конева, что последний не только отвергается коллективом в большей мере, чем первый, но и меньше стремится повысить свой статус.
Замерим экспансивность бригадира и неофициального лидера. У Шутова этот показатель будет равен 0,77 , а у Попова - 0,88 . На основании сопоставления этих показателей с индексами их статуса должно предположить, что неофициальный лидер стремится расширить свое воздействие на коллектив в большей степени, чем официальный руководитель. Аналогичным образом определяется индексы экспансивности всех других членов коллектива и сопоставляются с показателями их социального статуса. Это дает возможность увидеть взаимосвязи между отношением индивида к группе и отношением группы к индивиду, обнаружить слабые звенья в цепи данных взаимоотношений.
Индексы взаимности позитивных (V(+)), негативных (V(-)) и индифферентных (V(0)) выборов определяются путем подсчета количества соответствующих взаимных выборов с последующим делением этой величины на N - 1. Обычно эти индексы исчисляются применительно к лидерам коллектива (официальному и неофициальным), а также "изгоям". У Шутова V(+) = 0,44 (он позитивно избрал Попова, Носова, Салина, Львова и Ивкина, но взаимностью ему ответили только четверо из них); V(-) Шутова = 0,11 (Конев), а V(0) = 0 (Шутов индифферентен к Фомину и Ежову, но они относятся к нему негативно). У Попова V (+) = 0,33, V(-) = 0,22, V(0) = 0 (к Рогову он индифферентен, но Рогов относится к Попову позитивно).
Что нового мы узнали о бригадире, неофициальном лидере и коллективе бригады, подсчитав эти индексы? Прежде всего то, что количество сторонников бригадира превышает численность соратников неофициального лидера. Но это преимущество, видимо, временное, так как экспансивность неофициального лидера выше, чем у бригадира. Явных противников у последнего пока меньше, чем у первого, но их число может вырасти за счет Фомина и Ежова.
Отвергаемые коллективом Рогов и Конев имеют по индексам взаимности следующие показатели. У Рогова V(+) = 0,11, V(-) = 0,22, V(0) - 0; у Конева, - соответственно, 0; 0,11; 0,11. Это значит, что сказанное ранее предположения о предпочтительности положение Рогова в группе (в сравнении с Коневым) получило подтверждение.
Коллективные социометрические индексы призваны дать количественную характеристику ее экспансивности, индифферентности, интегрированности, разобщенности, конфликтности и других свойств обследуемой группы.
Индекс экспансивности группы измеряет плотность позитивных и негативных выборов в ней. Он определяется путем деления на количество членов коллектива (в данном случае от N единица не отнимается) общей суммы всех выборов, кроме индифферентных, сделанных всеми членами группы. В нашем примере этот коэффициент равен 8,3, т.к. .
Индекс индифферентности (нейтральности группы) органично дополняет первый коэффициент и проверяет точность его подсчета. Он образуется делением общей суммы индифферентных выборов на численность коллектива . Сумма двух означенных коэффициентов должна равняться численности группы.
Индекс интегрированности группы - итог деления общей суммы позитивных выборов на общее число всех сделанных всеми членами группы выборов. Для используемой в качестве примера бригады К.и.г. составит 4,3, ибо общая сумма позитивных выборов - 43.
Индекс разобщенности группы образуется соотнесением суммы негативных и индифферентных выборов к общему числу всех выборов. Поскольку в нашей условной бригаде первых 40, а вторых - 17, постольку коэффициент ее разобщенности равен 5,7.
Индекс взаимных симпатий (V(+)гр.) - результат деления суммы всех взаимных позитивных выборов на число членов коллектива.
Индекс взаимных антипатий (V(-)гр.) - величина, образующаяся соотнесением суммы взаимных негативных выборов к численности группы.
Индекс взаимной индифферентности (нейтральности) образуется делением общей суммы взаимных индифферентных выборов на сумму членов коллектива.
Индекc конфликтности группы рассчитывается по формуле:
, где:
? V(-)гр. - сумма взаимных негативных выборов всех членов группы;
? (-)гр. - сумма односторонних негативных выборов в группе, могущих сопрягаться как с позитивным, так и индифферентным выбором с другой стороны;
N - количество членов группы.
Информативность и эвристическая значимость всех означенных (и не названных) коллективных индексов возрастает при условии их сопоставления:
* во-первых, друг с другом,
* во-вторых, персональными социометрическими индексами,
* в-третьих, аналогичными показателями других групп,
* в-четвертых, выводами об обследуемой группе, полученными другими, в т.ч. качественными методами.

<<<89 Морено Дж. Социометрия. М., 1995.

Контрольно-обучающие вопросы и задания

1. В чем Вы видите общность и специфику количественных и качественных методов социологических исследований?
2. Назовите основные отличия контент-анализа документов от их обычного (традиционного) изучения.
3. Подумайте и скажите, для изучения каких проблем Вашей науки применим контент-анализ?
4. Чем социологические наблюдения отличаются от обычных (житейских) наблюдений?
5. Охарактеризуйте:
o разновидности социологического наблюдения,
o его инструментарий,
o типичные просчеты его применения.
6. Когда, для чего и как организуются и проводятся социологические эксперименты?
7. Какие ошибки чаще всего допускаются при социологическом экспериментировании?
8. Перечислите все известные Вам разновидности опросных методов сбора социологической информации.
9. Вычлените общие свойства опросных методов и специфику каждого из них.
10. Воспроизведите правила разработки опросного листа.
11. Охарактеризуйте типичные просчеты исследователей при использовании:
o анкетирования;
o интервьюирования;
o прессовых опросов;
o почтовых опросов;
o телефонных опросов;
o иных опросов.
12. В чем заключена специфика экспертных опросов?
13. Равнозначны ли понятия "опрос экспертов" и "выявление оценок экспертов"?
14. Сформулируйте обязательные требования к каждому опросному методу.
15. Каково предназначение и содержание социометрических методов?
16. В чем заключена специфика социометрических опросов?
17. Охарактеризуйте сущность, разновидности и эвристические возможности социограмм и социоматриц.
18. Каковы возможности и ограничения социометрического метода?
19. Руководствуясь содержащимися в главе социоматрицей и инструкциями к исчислению социометрических индексов, самостоятельно определите индексы взаимных симпатий, взаимных антипатий, взаимной индифферентности и конфликтности.
20. Запишите возможности и ограничения каждого количественного метода сбора социологической информации.

Рекомендуемая литература

1. Андреенков В.Г. Маслова О.М. Методы сбора социологической информации. М., 1985. Вып. 1-2.
2. Арнарян Э.А. Математические методы и ЭВМ в социологии. М., 1971.
3. Белановский С.А. Методика и техника фокусированного интервью. М., 1993.
4. Бутенко И.А. Анкетный порос как общение социолога с респондентом. М., 1989.
5. Гречихин В.Г. Лекции по методике и технике социологических исследований. М., 1988.
6. Девятко И.Ф. Методы социологического исследования. Екатеринбург, 1998.
7. Куприян Л.П. Проблема эксперимента в системе общественной практики. М., 1981.
8. Методы анализа документов в социологическом исследованиях. М., 1985.
9. Методы сбора информации в социологических исследованиях / Под ред. В.Г. Андреенкова и О.М. Масловой: В 2-х кн. М., 1990.
10. Неверкович С.Д. Игровые методы подготовки кадров. М., 1995.
11. Ноэль Э. Массовые опросы: Введение в методику демоскопии. М., 1993.
12. Основы прикладной социологии: Учебник для вузов / Под ред. Ф.Э. Шереги, М.К. Горшкова. М., 1996.
13. Основы социологического знания / Под ред. С.И. Григорьева. Барнаул, 1995. Ч. 2.
14. Практикум по прикладной социологии. М., 1992.
15. Проблемы сравнительных исследований в социологии. Методы сбора данных: Сб. ст. М., 1998.
16. Рабочая книга социолога / Под ред. Г.В. Осипова. М., 1990.
17. Социология. Практикум / Сост. и отв. ред. А.В. Миронов и Р.И. Руденко. М., 1993.
18. Справочник по прикладной социологии / Под ред. Э. Ллойда, Ч. Лидермана, Ю.Н. Тюрина. М., 1989. Т. 1. 1990. Т. 2.
19. Сравнительная социология: Избранные переводы. М., 1995.
20. Сравнительный анализ и методика социологических исследований: Сб. статей. М., 1989.
21. Удоденко А.А. Логика научного вывода в эмпирической социологии. Барнаул, 1994.
22. Федотова О.Н. Контент-аналитические исследования средств массовой информации и пропаганды. М., 1988.
23. Ядов В.А. Социологическое исследование: Методология, программа, методы. М., 1978.
24. Ядов В.А. Стратегия социологического исследования. М., 1998.
25. Яковенко Ю.И., Паниотто В.И. Почтовый опрос в социологическом исследовании. Киев, 1988.

Глава 5. Качественные методы социологических исследований

В последние годы в России и за ее рубежами активизируется деятельность ученых социогуманитарного профиля по проведению комплексных междисциплинарных исследований. В этой связи резко возрос их интерес к нетрадиционным методам анализа социальной жизни, в том числе и прежде всего к качественным методам сбора, анализа и интерпретации социальной информации. К сегодняшнему дню российские социологи успешно усвоили зарубежный опыт применения качественных методов и создали собственные, оригинальные методические разработки. Прежде чем характеризовать их, объясним отличия качественных методов социальных исследований от уже известных Вам количественных.

5.1. Общая характеристика качественного анализа социальных явлений

Описанные в предыдущей главе методы социологии позволяют получить количественную информацию об изучаемых объектах, а потому называются количественными и "жесткими". Их разработка и использование опираются на:
* представление об обществе как системной целостности, в которой роль основополагающих структур играют большие социальные группы (классы, слои, этносы, регионы и т.п.), социальные институты, макросоциологические организации;
* убеждение исследователей в способности социологии построить стройную теорию общества, рационально объяснить происходящие в нем процессы, повлиять на них реализацией своих рекомендаций;
* предположение, согласно которому макросоциологические явления и процессы предопределяют содержание и характер микросоциологических явлений и процессов.
Верна ли последняя гипотеза? Этот вопрос давно дискутируется в социологии. В последние годы всеобщее признание получила концепция, суть которой сводится к следующему. Рациональное макросоциологическое познание не дает (и не может дать) исчерпывающего понимания поведения конкретных людей, их малых групп, коллективов, локальных сообществ и иных микросоциумов. Дело в том, что поведение субъектов микросоциальной жизни определяется не только не зависящими от них объективными социальными законами, но и многими факторами, имеющими субъективный смысл, обстоятельствами, сложившимися под воздействием микросоциальных условий. Например, в каждом социально значимом поступке любого человека проявляются специфичные мотивировки, уникальный социальный опыт, его способности и многие другие особенности этого субъекта, составляющие его "жизненный мир". Свой специфичный "жизненный мир" имеет каждая семья, товарищеская "тусовка", трудовой коллектив, студенческая группа, соседская общность, любой другой локальный микросоциум.
Методы исследования этих особенностей называются качественными ("мягкими"). Они нацелены не столько на фиксацию количественных параметров изучаемых явлений микросоциальной жизни (хотя определенные количественные замеры производятся и в них), сколько на познании того качества явления, которое делает его социально значимым несмотря на его особость.
Важно заметить, что проблемы микросоциумов и индивидов изучаются не только качественными, но и количественными методами. Но в первом случае основное внимание исследователей направляется на выяснение субъективно-специфических факторов жизни микросоциумов, на понимание тех смыслов, которыми люди руководствуются в своей деятельности, а во втором - на объективных итогах взаимодействий людей, выражающихся в функционировании и развитии социальных отношений и социальных институтов. С помощью количественных методов люди изучаются как представители разных социальных типов, а микросоциумы - разных социальных структур. Качественные методы позволяют увидеть в людях их индивидуальность, а в микросоциумах - то, что выходит за рамки общих характеристик социальных структур. Поэтому использование качественных методов в социологии оценивается как свидетельство ее гуманизации.
Основные отличия качественных методов от количественных сведены в таблицу 1, которая составлена с учетом аналогичных таблиц К. Пламера 90>>> и В.В. Семеновой 91>>> , но отличается от них.
Таблица 1
Сопоставление количественных и качественных методов социологических исследований
№ п/п Основания сравнения Количественные методы Качественные методы 1. Предназначение: Макросоциологическое
исследование Микросоциологическое
исследование 2. Цель применения: Дать объяснение причин изучаемого явления Понять изучаемое явление (случай, процесс) 3. Исследовательские задачи: а) измерить параметры явления
б) установить взаимосвязи между отдельными параметрами а) выявить общую картину явления
б) концептуализировать явление, интерпретировать его 4. Позиция исследователя: "сторонний" наблюдатель "сочувствующий" участник 5. В центре внимания исследователей: а) социальные структуры и институты
б) объективные факторы
в) общие социальные процессы а) человек

б) субъективные факторы
в) особенные, частные процессы 6. Исследовательские гипотезы формулируются: до начала сбора данных по мере овладения данными 7. Исследовательские инструменты: а) разрабатываются до полевого этапа
б) формализованы, во многом одинаковы для всех исследователей а) определяются как до полевого этапа, так и в его ходе
б) неформализованы, отражают индивидуальный исследовательский опыт 8. Исследовательские процедуры: стандартизированы, предполагается их дублирование менее стандартизированы, дублируются редко 9. Единицы анализа: факты, события, высказывания, акты поведения субъективные значения фактов для индивида 10. Логика анализа: дедуктивная: от абстракции к фактам путем операционализации понятий индуктивная:
от фактов к концепциям 11. Основные способы анализа: а) классификация путем отождествления случаев
б) статистическими
способами
в) систематизация a) описание случаев без их отождествления
б) путем обобщения выявленных оценок
в) воображение 12. Данные исследования представляются в виде: статистических распределений, шкальных показателей, индексов и т.п. высказываний, документов, интеллектуальных продуктов групповых дискуссий и т.п. 13. Валидность (надежность) достигается достоверным: повторением установленных связей описанием случаев и выявленных мнений 14. Стиль исследования: жесткий, холодный мягкий, теплый Как видим, качественные методы отличаются от количественных по многим показателям. Но если из анализа приведенной таблицы у Вас сложилось представление о том, что качественные методы принципиально лучше количественных, что первые должны вытеснить вторые из практики социологических исследований, то Вы ошибаетесь.
Каждый набор методов имеет свое исследовательское предназначение. На основе качественных методов невозможно исследовать макросоциальные явления и процессы. В случаях, когда нужно изучить взаимодействия общественных классов, страт, социальных слоев, этносов, регионов, социальных институтов и т.п. макросоциальных образований, без количественных методов обойтись невозможно. Качественные методы здесь тоже приемлемы, но не в роли основных, а дополнительных. Соотношение между этими методами изменится с точностью до наоборот, если предстоит исследовать микросоциальные явления и процессы.
К сказанному добавим, что количественные и качественные методы взаимно дополняют друг друга и в ином отношении. Каждый качественный метод включает в себя определенные количественные способы сбора и обработки информации: контент-анализ, наблюдение, некоторые разновидности интервьюирования и т.п. При этом количественные методы, естественно, меняют свое предназначение, служат цели углубления понимания микросоциальных явлений общественной жизни, становятся компонентами качественных методик.
Последних в арсенале современной социологии весьма много - более сорока. Мы не имеем возможности говорить о каждом из них. В описании всех их в данном пособии нет крайней нужды, т.к. значительная часть качественных методов уже представлена в социологической литературе. В упоминавшейся ранее монографии "Стратегия социологического исследования", написанной В.А. Ядовым в сотрудничестве с В.В. Семеновой, хорошо охарактеризованы: 1) этнографические; 2) исторические исследования как методы качественного анализа локальных микросоциумов; 3) метод исследования случая - кейс стади (case study); 4) биографический метод и его разновидности (устная история, история жизни, история семьи) 92>>> ; 5) метод grounded theory - восхождения к теории (создания минитеории). О методах наблюдающего участия, моделирования ситуаций, провоцирования социальных действий по авторскому сценарию ("драматической социологии") обстоятельно рассказано в трудах А.Н. Алексеева 93>>> . Метод нарратива (повествования) достаточно полно охарактеризован в журнальных статьях В.Ф. Журавлева 94>>> и Е.Р. Ярской-Смирновой 95>>> . Возможность и техника использования беседы в качестве качественного метода обоснована М.А. Ивановым 96>>> . Методы групповых дискуссий ("мозговой штурм", "синектика", ИПИД - индуцирование психоинтеллектуальной деятельности и др.) подробно описаны в трудах как зарубежных исследователей (У. Осборна, У. Гордона, П. Чекланда и др.), так и отечественных авторов 97>>> . Широко представлены в публикациях и игровые методы, активно использующиеся в качественных социальных исследованиях 98>>> .
Поэтому мы сосредоточим внимание только на четырех методах качественных (т.е. микросоциологических) исследований. Два из них - "проблемное колесо" и БОУ (быстрая оценка с участием) - мы избрали потому, что они практически не освещены в российской социологической литературе, пока мало используются в отечественной исследовательской практике. Два других - фокус-группа и ИЭО (интеграция экспертных оценок) - заслуживают нашего рассмотрения в силу комплексных причин. Во-первых, они чаще других применяются, причем, не только социологами, но и психологами, юристами, экономистами, маркетологами, историками, социальными работниками, педагогами, представителями иных социогуманитарных наук. Во-вторых, они противоречиво характеризуются в социологической литературе, в т.ч. использующейся для учебных целей 99>>> . В-третьих, до сих пор не выяснена оптимальная технология данных методов.
Различия в трактовках эвристического потенциала и последовательности операций реализации этих методов столь существенны, что превратились в тормоз их практического использования социогуманитарными науками. Мы надеемся, что обобщение нашего личного опыта оперирования данными методами будет содействовать устранению их недопонимания, противоречивых оценок и робости начинающих исследователей перед качественными методами.
Начнем с наиболее простого из четырех означенных методов - фокус-группового обсуждения микросоциальных проблем.

<<<90 Plummer K. Documents of Life. An Introduction to the Problems and Literature of a Humanistic Method. London: Unwin Hyman Ltd., 1990. P. 6. <<<91 Семенова В.В. Качественные методы в социологии// В.А.Ядов. Стратегия социологического исследования: описание, объяснение, понимание социальной реальности. М., 1998. C.396, 407. <<<92 Опыт применения этого метода социологами Польши, России и Франции раскрыт в сборнике статей "Биографический метод в социологии: история, методология, практика"/ Под ред. Е.Ю.Мещеркина, В.В.Семеновой. М., 1994. Технике данного метода посвящены многие работы: ТернерР. Сравнительный контент-анализ биографий/ Пер. с англ.// Вопросы социологии. 1992. Т. 1. №1; БургосМ. История жизни. Рассказывание и поиск себя/ Пер. с англ.// Вопросы социологии. 1992. Т.1. №2; ТомпсонП. История жизни и анализ социальных изменений/ Пер. с англ.// Вопросы социологии. 1993. №1-2; ГолофастВ.Б. Многообразие биографических повествований// Социологический журнал. 1995. №1. <<<93 Алексеев А.Н. Драматическая социология: эксперимент социолога-рабочего. М.; СПб., 1997. Кн.1-2.; АлексеевА.Н. Наблюдающее участие и моделирующие ситуации (познание через действие). СПб., 1997. <<<94 Журавлев В.Ф. Нарративное интервью в биографических исследованиях// Социология: 4М. 1993-1994. №3-4; ЖуравлевВ.Ф. Анализ коммуникации в качественном интервью// Социология: 4М. 1996. №7. <<<95 Ярская-Смирнова Е.Р. Нарративный анализ в социологии// Социологический журнал. 1997. №3. <<<96 Иванов М.А. Беседа как метод исследования// Социологические исследования. 1989. №4. <<<97 Гаджиев Ч.М. Социально-психологические проблемы коллективного творчества. Баку, 1982; ЕмельяновЮ.Н. Активное социально-психологическое обучение. Л., 1985; БалаевА.А. Активные методы обучения. М., 1986; ГрановскаяР.М. Элементы практической психологии. Л., 1988. <<<98 Пригожин А.И. Нововведения: стимулы и препятствия. М., 1989; ЩедровицкийГ.П., КотельниковС.И. Организационно-деятельностная игра как новая форма организации и метод развития коллективной деятельности// Нововведения в организациях. М., 1983; МудрецТ.Б., МоревВ.А. Имы начали играть// Социология: 4М., 1996. №7. <<<99 См., например: Ядов В.А. Стратегия социологического исследования. М., 1998. С.402-408; БогомоловаН.Н., ФоломееваТ.В. "Фокус-группы" как метод социально-психологического исследования: Учеб. пособие. М., 1997; ДебюсМ. Качественные методы в социальных исследованиях. Фокус-группа: Учеб. пособие/ Пер. с англ. Барнаул, 1995; КрюгерА. Фокусные группы. Практическое руководство для прикладного исследования/ Пер. с англ. М., 1995; БелановскийС.А. Метод "фокус-групп". М., 1996.

5.2. Фокус-групповая методика

Метод фокус-группы в последние годы получил широкое распространение как один из наиболее оперативных и эффективных способов сбора и анализа социальной информации. Заметим, что он применяется, как правило, в сочетании с количественными методами, может играть при этом как дополнительную, так и ключевую роль. Кроме того, он включает в себя элементы количественных методов (включенное наблюдение, правило репрезентативной выборки и др.).
Реализация данного метода предполагает формирование нескольких дискуссионных групп (чаще - по 10-12 чел.) и проведение в них обсуждения исследуемой проблемы с целью ее более глубокого понимания и поиска оптимальных путей решения. Фокус внимания участников групповых дискуссий при этом сосредоточивается на каком-то одном, естественно, важном аспекте проблемы, а внимание исследователей фокусируется на выяснении мнений участников по поставленному вопросу, на значении различных точек зрения представителей разных социальных категорий, а также на поиске возможных путей достижения консенсуса.
Фокус-групповое обсуждение исследуемой проблемы гораздо продуктивнее, нежели выяснение мнений о ней методами анкетирования и индивидуального интервьюирования. Оно предпочтительнее в силу следующих факторов:
1. Взаимодействие респондентов в фокус-группе обычно стимулирует более глубокие ответы и дает возможность появиться новым идеям в ходе групповой дискуссии.
2. Заказчик исследования может сам наблюдать за ходом обсуждения интересующей его проблемы и получать из первых рук информацию о поведении, установках, чувствах и языке респондентов, делать собственные выводы о путях решения проблемы, которые получат (или не получат) поддержку общественного мнения.
3. Фокус-групповой метод оперативнее и дешевле, чем анкетирование или интервьюирование. Его использование дает экономию не только временных, финансовых, но и трудовых затрат исследователей.
4. Этот метод позволяет за короткий срок определить причины возникновения обсуждаемой проблемы. (Например, понять, почему определенный сорт того или иного товара не имеет спроса в одном регионе, хотя в соседних он раскупается хорошо. Если в фокус-групповой дискуссии участвуют потребители этого товара, то они обычно точно указывают перечень основных причин данного явления).
Но все эти достоинства характеризуемого метода проявляются при условии соблюдения определенных требований к организации работы фокус-групп. Речь идет о требованиях, предъявляемых к исследователям при решении ими вопросов, связанных с:
1. определением необходимого количества фокус-групп;
2. установлением количества их участников;
3. формированием оптимального состава участников;
4. продолжительностью их работы;
5. выбором места проведения заседания фокус-группы;
6. размещением участников в помещении;
7. разработкой сценария фокус-групповой дискуссии;
8. реализацией этого сценария модератором, т.е. ведущим фокус-групповую дискуссию и его ассистентами-наблюдателями, стенографистами, операторами.
При определении необходимого количества групп решающее значение имеет учет следующих обстоятельств:
* их должно быть не менее двух, чтобы соблюсти минимум условий сопоставимости мнений их участников;
* количество фокус-групп должно быть достаточным для того, чтобы выявить мнения представителей тех групп населения, которые гипотетически по-разному относятся к изучаемой проблеме;
* увеличение количества групп, участвующих в НИР, желательно продолжать пока в обсуждениях появляются новые мнения, т. е. до тех пор, пока дискуссии не станут повторяться, "идти по кругу".
Состав участников групп устанавливается с учетом их следующих характеристик:
1. социальная принадлежность (статус) респондентов. Обычно в одну группу включают 10-12 представителей, близких друг другу по социальному статусу. При этом в разных группах должны быть представлены все основные слои населения;
2. жизненный опыт участников. В одной фокус-группе собираются, как правило, близкие по жизненному опыту люди;
3. степень компетентности. Респонденты с существенно разной степенью компетентности не должны присутствовать в одной группе;
4. потребительские возможности. В одной группе должны быть люди примерно одного уровня финансово-экономических возможностей;
5. возраст и семейный статус. В одну группу не следует включать людей разных возрастов, однако они должны быть в разных фокус-группах;
6. культурные различия. Желательно не включать в одну группу представителей разных культур;
7. пол. Большинство исследователей выступает за смешанные по половому признаку фокус-группы;
8. точка зрения на обсуждаемую проблему. В одну группу обязательно следует приглашать людей с различными мнениями по вопросам, выносимым на дискуссию.
Продолжительность заседания фокус-группы. Как правило, фокус-группа длится не более, чем 1,5-2 часа. Иногда целесообразно проводить короткие заседания групп (30-40 мин). В исключительных случаях, когда метод фокус-групп играет роль основного способа интеграции новых идей, продолжительность группового обсуждения достигает 6-8 часов.
Количество участников. Как уже отмечалось, обычно в одном заседании фокус-группы участвуют 10-12 человек. Вместе с тем существует довольно распространенная практика проведения заседаний групп в составе 5-6 человек. Целесообразность сокращения численности фокус-групп объясняется некоторыми проблемами, возникающими в больших группах. В главном эти проблемы сводятся к следующему:
* в большой группе участники имеют меньше времени для выступлений, дискуссии длятся дольше, порой не приводя к должному результату;
* ведущий дискуссию (модератор) в большой группе вынужден действовать директивно, жестко ограничивая во времени ее участников;
* в большой группе многие чувствуют себя менее комфортно, чем в малой, их возможности отстоять свою точку зрения снижаются.
Главным фактором, определяющим размер группы, является цель ее проведения, характер обсуждающейся проблемы. Если цель фокус-группы состоит в получении возможно большего количества новых идей, то предпочтительнее крупная группа. Если же мы хотим выявить максимально глубокие и развернутые мнения каждого респондента, то желательно формировать малочисленные группы.
Выбор места проведения и его оснащение. Для проведения фокус-групп необходимо следующее, как минимум, стандартное оборудование: ауди- и видеотехника, зеркало, дающее возможность наблюдателям видеть происходящее и реакции на него всех участников, оборудованная мебелью комната.
Помещение, в котором проходит заседание фокус-группы, должно:
* обеспечивать участникам дискуссии возможность говорить без помех и чувствовать себя достаточно комфортно;
* давать возможность хорошо слышать всем то, что говорит каждый;
* быть приемлемым для каждого участника и нейтральным к проблематике и составу фокус-группы;
* позволять наблюдателям и модератору видеть всех участников дискуссии.
Размещение участников желательно проводить по типу "круглого стола", чтобы способствовать групповому общению, максимальной вовлеченности всех в дискуссию. В этой связи полезно принять во внимание три рекомендации:
1. Следует избегать ситуаций предписания особого статуса кому-либо из участников размещением их либо на особо удобных, либо, наоборот, неудобных местах;
2. Модератору нужно иметь хороший зрительный контакт со всеми участниками фокус-группы; .
3. Последние должны хорошо видеть друг друга.

<< Пред. стр. 7 (из 8) След. >>

Список литературы по разделу