Реферат: Методы психологических исследований 2

Название: Методы психологических исследований 2
Раздел: Рефераты по психологии
Тип: реферат

План:

Введение…………………………………………………………………………1

1. Не экспериментальные психологические методы………………………2-9

2. Диагностические методы………………………………………………….9-11

3. Экспериментальные методы……………………………………………11-13

4. Формулирующие методы………………………………………………...13-15

Заключение……………………………………………………………………….16

Список литературы……………………………………………………………...17

Введение

Специфика научной психологии заключается в том, что она для накопления своих данных использует целый арсенал научных методов.
Большую роль играет и то, каким путем получено то или иное знание. Лев Семенович Выготский (1896-1934) выразил это в следующей лаконичной формуле: факты, полученные с помощью разных познавательных принципов, суть разные факты[1] . Существует определенная обусловленность получаемых в эмпирическом исследовании фактов имевшейся до данного эмпирического исследования его схемой, выдвинутыми гипотезами, предварительными знаниями об изучаемой реальности и т.п. И подобную взаимосвязь полученных в исследовании фактов с предварительными представлениями исследователя об изучаемых феноменах и, соответственно, с используемыми методами можно проследить во всех психологических направлениях. Поэтому проблема методологии (средств) психологического познания является одной из самых существенных и обсуждаемых проблем психологии.
Существует несколько взглядов на классификацию методов психологического исследования. Например Г. Пирьов, разделил «методы» на:

- собственно методы (наблюдение, эксперимент, моделирование и пр.);

- методические приемы;

- методические подходы (генетический, психофизиологический и пр.)[2] .

1. Неэкспериментальные психологические методы

Наблюдение является одним из наиболее часто используемых в психологии исследовательских методов. Наблюдение может применяться в качестве самостоятельного метода, но обычно оно органически включается в состав других методов исследования, таких, как беседа, изучение продуктов деятельности, различные типы эксперимента и т.д.
Наблюдением называется целенаправленное, организованное восприятие и регистрация объекта. Наблюдение наряду с самонаблюдением является старейшим психологическим методом. Как научный эмпирический метод наблюдение широко применяется с конца XIX века в клинической психологии, психологии развития и педагогической психологии, в социальной психологии, а с начала XX века - в психологии труда, т.е. в тех областях, где особое значение имеет фиксация особенностей естественного поведения человека в привычных для него условиях, где вмешательство экспериментатора нарушает процесс взаимодействия человека со средой. Тем самым для наблюдения особое значение имеет сохранение «внешней» валидности.

Различают несистематическое и систематическое наблюдение:

- несистематическое наблюдение проводится в ходе полевого исследования и широко применяется в этнопсихологии, психологии развития, социальной психологии. Для исследователя, проводящего несистематическое наблюдение, важны не фиксация причинных зависимостей и строгое описание явления, а создание некоторой обобщенной картины поведения индивида либо группы в определенных условиях;

- систематическое наблюдение проводится по определенному плану. Исследователь выделяет регистрируемые особенности поведения (переменные) и классифицирует условия внешней среды. План систематического наблюдения соответствует схеме квазиэксперимента или корреляционного исследования[3] .

Различают «сплошное» и выборочное наблюдение:

- в первом случае исследователь (или группа исследователей) фиксирует все особенности поведения, доступные для максимально подробного наблюдения.

- во втором случае он обращает внимание лишь на определенные параметры поведения или типы поведенческих актов, например, фиксирует только частоту проявления агрессии либо время взаимодействия матери и ребенка в течение дня и т.п[4] .

Наблюдение может проводиться непосредственно, либо с использованием наблюдательных приборов и средств фиксации результатов. К числу их относятся: аудио-, фото- и видеоаппаратура, особые карты наблюдения и т.д.

Фиксация результатов наблюдения может производиться в процессе наблюдения либо отсрочено. В последнем случае возрастает значение памяти наблюдателя, «страдает» полнота и надежность регистрации поведения, а следовательно, и достоверность полученных результатов. Особое значение имеет проблема наблюдателя. Поведение человека или группы людей изменяется, если они знают, что за ними наблюдают со стороны. Этот эффект возрастает, если наблюдатель неизвестен группе или индивиду, значим и может компетентно оценить поведение. Особенно сильно эффект наблюдателя проявляется при обучении сложным навыкам, выполнении новых и сложных задач, например, при исследовании «закрытых групп» (банд, воинских коллективов, подростковых группировок и т.д.) внешнее наблюдение исключено. Включенное наблюдение предполагает, что наблюдатель сам является членом группы, поведение которой он исследует. При исследовании индивида, например ребенка, наблюдатель находится в постоянном, естественном общении с ним.

Есть два варианта включенного наблюдения:

- наблюдаемые знают о том, что их поведение фиксируется исследователем (например, при изучении динамики поведения в группе альпинистов или экипажа подводной лодки);

- наблюдаемые не знают, что их поведение фиксируется (например, дети, играющие в комнате, одна стена которой - зеркало Гезелла; группа заключенных в общей камере и т.д.)[5] .

Цель наблюдения определяется общими задачами и гипотезами исследования. Эта цель, в свою очередь, определяет используемый тип наблюдения, т.е. будет ли оно непрерывным или дискретным, фронтальным или выборочным и т.п.

Результаты наблюдений обычно систематизируются в виде индивидуальных (или групповых) характеристик. Такие характеристики представляют собой развернутые описания наиболее существенных особенностей предмета исследования. Тем самым результаты наблюдений являются одновременно исходным материалом для последующего психологического анализа. Переход от данных наблюдения к объяснению наблюдаемого, являющийся выражением более общих законов познания, свойственен и другим неэкспериментальным (клиническим) методам: анкетированию, беседе и изучению продуктов деятельности.
Анкетирование , как и наблюдение, является одним из наиболее распространенных исследовательских методов в психологии[6] . Анкетирование обычно проводится с использованием данных наблюдения, которые (наряду с данными, полученными при помощи других исследовательских методов) используются при составлении анкет.

Существуют три основных типа анкет, применяемых в психологии:

- это анкеты, составленные из прямых вопросов и направленные на выявление осознаваемых качеств испытуемых;

- это анкеты селективного типа, где испытуемым на каждый вопрос анкеты предлагается несколько готовых ответов; задачей испытуемых является выбор наиболее подходящего ответа.

- это анкеты шкалы; при ответе на вопросы анкет-шкал испытуемый должен не просто выбрать наиболее правильный из готовых ответов, а прошкалировать (оценить в баллах) правильность из предложенных ответов[7] .

Бесспорным достоинством метода анкетирования является быстрое получение массового материала, что позволяет проследить ряд общих изменений в зависимости от характера учебно-воспитательного процесса и т.п. Недостатком метода анкетирования является то, что он позволяет вскрывать, как правило, только самый верхний слой факторов: материалы, при помощи анкет и вопросников (составленных из прямых вопросов к испытуемым), не могут дать исследователю представления о многих закономерностях и причинных зависимостях, относящихся к психологии. Анкетирование - это средство первой ориентировки, средство предварительной разведки. Чтобы компенсировать отмеченные недостатки анкетирования, применение этого метода следует сочетать с использованием более содержательных исследовательских методов, а также проводить повторные анкетирования, маскировать от испытуемых подлинные цели опросов и т.д[8] .


Беседа - специфичный для психологии метод исследования человеческого поведения, так как в других естественных науках коммуникация между субъектом и объектом исследования невозможна. Диалог между двумя людьми, в ходе которого один человек выявляет психологические особенности другого, называется методом беседы[9] . Психологи различных школ и направлений широко используют ее в своих исследованиях. Достаточно назвать Пиаже и представителей его школы, гуманистических психологов, основоположников и последователей «глубинной» психологии и т.д.

Беседа включается как дополнительный метод в структуру эксперимента на первом этапе, когда исследователь собирает первичную информацию об испытуемом, дает ему инструкцию, мотивирует и т.д., и на последнем этапе - в форме постэкспериментального интервью. Исследователи различают клиническую беседу, составную часть «клинического метода», и целенаправленный опрос «лицом к лицу» - интервью[10] .
Содержание бесед можно протоколировать полностью или выборочно в зависимости от конкретных целей исследования. При составлении полных протоколов бесед удобно пользоваться магнитофоном.
Соблюдение всех необходимых условий проведения беседы, включая сбор предварительных сведений об испытуемых, делает этот метод очень эффективным средством психологического исследования. Поэтому желательно, чтобы беседа проводилась с учетом данных, полученных при помощи таких методов, как наблюдение и анкетирование. В этом случае в ее цели может входить проверка предварительных выводов, вытекающих из результатов психологического анализа и полученных при использовании данных методов первичной ориентировки в исследуемых психологических особенностях испытуемых.


«Архивный метод» или изучение продуктов деятельности. В американской научной литературе принят термин «архивный метод» для таких исследований, проводя которые психолог не измеряет и не наблюдает актуальное поведение испытуемого, а анализирует дневниковые записи и заметки, архивные материалы, продукты трудовой, учебной или творческой деятельности и т.д[11] . Отечественные психологи используют другой термин для обозначения этого метода. Чаще всего его обозначают как «анализ продуктов деятельности», или праксиметрический метод.

В качестве объекта исследования при использовании метода изучения продуктов деятельности могут выступать самые разнообразные продукты творчества испытуемых (стихи, рисунки, различные поделки, дневниковые записи, школьные сочинения, предметы, как результат определенного вида трудовой деятельности и т.п.). Применяя этот метод, можно анализировать не только содержательные, но и формальные характеристики объекта изучения.

Анализ продуктов деятельности - метод, широко распространенный в исторической психологии, а также в антропопсихологии и психологии творчества. Для психологии творчества он является одним из основных, поскольку особенность творческого продукта как раз и состоит в его уникальности[12] .
Анализ продуктов деятельности предоставляет важный материал для клинических психологов: при определенных заболеваниях (шизофрения, маниакально-депрессивном психозе и т.д.) резко изменяется характер продуктивности, что проявляется в особенностях текстов, рисунков, поделок больных.

Контент-анализ . К разновидностям «архивного метода» относится также техника контент-анализа. Контент-анализ представляет собой один из наиболее разработанных и строгих методов анализа документов. Исследователь выделяет единицы содержания и квантифицирует полученные данные. Этот метод широко распространен не только в психологии, но и других социальных науках. Особенно часто он используется в практической психологии, психологии рекламы и коммуникации. Разработка метода контент-анализа связана с именами Г.Лассуэла, Ч.Осгуда и Б.Берельсона, автора фундаментальной монографии «Контент-анализ в коммуникационных исследованиях»[13] . Стандартными единицами при анализе текста в контент-анализе являются:

- слово (термин, символ);

- суждение или законченная мысль;

- тема;

- персонаж;

- автор;

- целостное сообщение[14] .

Монографический метод . Данный исследовательский метод, не может быть воплощен в какой либо одной методике. Он является синтетическим методом и конкретизируется в совокупности самых разнообразных неэкспериментальных (а иногда и экспериментальных) методик. Монографический метод используется, как правило, для глубокого, тщательного, продольного изучения возрастных и индивидуальных особенностей отдельных испытуемых с фиксацией их поведения, деятельности и взаимоотношений с окружающими во всех основных сферах жизни. При этом исследователи стремятся, исходя из изучения конкретных случаев, выявить общие закономерности строения и развития тех или иных психических образований.

Обычно в психологических исследованиях используется не один какой-нибудь метод, а целый набор различных методов, которые взаимно контролируют и дополняют друг друга.

2. Диагностические методы.

К диагностическим исследовательским методам относятся различные тесты, т.е. методы, позволяющие исследователю давать количественную квалификацию изучаемому явлению, а также различные приемы качественной диагностики, при помощи которых выявляются, например, различные уровни развития психологических свойств и характеристик испытуемых.[15]

Тест (от англ. test - проба, испытание) - стандартизированное задание, результат выполнения которого позволяет измерить психологические характеристики испытуемого[16] . Таким образом, целью тестового исследования является испытание, диагностика определенных психологических особенностей человека, а его результатом - количественный показатель, соотносимый с ранее установленными соответсвующими нормами и стандартами.
Использование определенных и конкретных тестов в психологии наиболее отчетливо проявляет общие теоретические установки исследователя и всего исследования. Так, в зарубежной психологии тестовые исследования понимаются обычно как средство выявления и измерения врожденных интеллектуальных и характерологических особенностей испытуемых. В отечественной психологии различные диагностические методы рассматриваются в качестве средств определения наличного уровня развития этих психологических особенностей. Именно потому, что результаты любых тестирований характеризуют наличный и сравнительный уровень психического развития человека, обусловленный влиянием множества факторов, обычно неконтролируемых в тестовом испытании, результаты диагностического испытания не могут и не должны соотносится с возможностями человека, с особенностями его дальнейшего развития, т.е. эти результаты не имеют прогностического значения. Не могут эти результаты послужить основанием и для принятия тех или иных психолого-педагогических мер.

Необходимость абсолютно точного соблюдения инструкции и использования однотипных материалов диагностического обследования налагает еще одно существенное ограничение на широкое использование диагностических методов в большинстве прикладных областях психологической науки. В силу этого ограничения достаточно квалифицированное проведение диагностического обследования требует от исследователя специальной (психологической) подготовки, владения не только материалом и инструкцией применяемой тестовой методики, но и способами научного анализа полученных данных.
Основным недостатком большинства диагностических методик является осознание испытуемым искусственной ситуации обследования, которое часто приводит к актуализации у испытуемых неконтролируемых методикой мотивов (иногда начинает действовать желание испытуемых угадать, что от них хочет экспериментатор, иногда - стремление поднять свой престиж в глазах экспериментатора или других испытуемых и т.п.), что искажает результаты эксперимента[17] . Данный недостаток диагностических методик требует тщательного подбора значимого для испытуемых экспериментального материала и сочетания их с беседой, включающей прямые и косвенные вопросы к испытуемому, и с психологическим наблюдением за особенностями поведения испытуемых в ходе эксперимента.
Достоинство диагностических методов (наряду с точностью и портативностью) состоит в очень широком спектре исследовательских задач, которые могут решаться с помощью данных методов, - от исследования степени овладения дошкольниками различными перцептивными и мыслительными действиями и некоторыми предпосылками формирования операционально-технической стороны учебной деятельности и выявления личностных особенностей испытуемых до изучения специфики внутриколлективных отношений.

3. Экспериментальные методы.

В отличие от не экспериментальных и диагностических методов «психологический эксперимент предполагает возможность активного вмешательства исследователя в деятельность испытуемого с целью создания условий, отчетливо выявляющих психологический факт...»[18] . Специфика экспериментальных методов состоит, таким образом, в том, что они предполагают:

а) организацию специальных условий деятельности, влияющих на исследуемые психологические особенности испытуемых;

б) изменение этих условий в ходе исследования.
Вместе с тем экспериментальные методы предполагают использование не экспериментальных и диагностических методов, непосредственно включают их в себя в качестве своих естественных моментов[19] .
В психологии существуют три типа собственно экспериментального (в классическом, естественнонаучном понимании термина «эксперимент») метода:

- естественный (полевой) эксперимент;

- моделирующий эксперимент;

- лабораторный эксперимент[20] .

Естественный (полевой) эксперимент, как говорит само название этого метода, наиболее приближен к неэкспериментальным исследовательским методам. Условия используемые при проведении естественного эксперимента, организует не экспериментатор, а сама жизнь (в высшем учебном заведении, например, они органично включены в учебно-воспитательный процесс)[21] . Экспериментатор в данном случае пользуется лишь сочетанием различных (контрастных, как правило) условий деятельности испытуемых и фиксирует при помощи неэкспериментальных или диагностических методик исследуемые психологические особенности испытуемых.
Достоинства естественного (полевого) эксперимента (относительная замаскированность целей исследования, достаточно неформальная обстановка проведения исследования и т.п.) являются следствием его органической включенности в условия жизни и деятельности испытуемых. К недостаткам этого метода относятся сложность подбора контрастных естественных условий и, в частности, все недостатки тех неэкспериментальных и диагностических методик, которые применяются в составе естественного эксперимента и служат для отбора экспериментальных данных.


Моделирующий эксперимент . При проведении моделирующего эксперимента испытуемый действует по инструкции экспериментатора и знает, что участвует в эксперименте в качестве испытуемого. Характерной особенностью эксперимента данного типа является то, что поведение испытуемых в экспериментальной ситуации моделирует (воспроизводит) на разных уровнях абстракции вполне типичные для жизненных ситуаций действия или деятельности: запоминание различных сведений, выбор или постановку целей, выполнение различных интеллектуальных и практических действий и т.д[22] . Моделирующий эксперимент позволяет решать самые разнообразные исследовательские задачи.


Лабораторный эксперимент - особый тип экспериментального метода - предполагает проведение исследований в психологической лаборатории, оснащенной специальными приборами и приспособлениями[23] . Этот тип эксперимента, отличающийся также наибольшей искусственностью экспериментальных условий, применяется обычно при изучении элементарных психических функций (сенсорной и моторной реакций, реакции выбора, различий сенсорных порогов и т.п.) и гораздо реже - при изучении более сложных психических явлений (процессов мышления, речевых функций и т.п.). Лабораторный эксперимент более соответствует предмету предмету психологического исследования.

4. Формирующие методы.

Все описанные выше исследовательские методы (неэкспериментальные, диагностические и экспериментальные) отличаются констатирующим характером: описанию измерению и объяснению подвергаются эмпирические, стихийно сложившиеся (или, в крайнем случае, моделируемые в узких и искусственных рамках лабораторного эксперимента) особенности и уровни психического развития.
Использование всех этих методов не предполагает задачи существенного изменения наличного предмета исследования, задачи формирования. Такая принципиально новая исследовательская цель требует применения особых, формирующих методов.
К формирующим исследовательским методам в психологии относятся различные разновидности так называемого социального эксперимента, объектом которого выступает определенная группа людей:

- преобразующий эксперимент,

- психолого-педагогический эксперимент,

- формирующий эксперимент,

- экспериментально-генетический метод,

- метод поэтапного формирования и т.п[24] .

Основной и главной чертой всех этих методов является, по определению Василия Васильевича Давыдова (1930), «...не простое констатирование особенностей тех или иных эмпирических форм психики, а их активное моделирование, воспроизведение в особых условиях, что позволяет раскрыть их сущность».

Использование формирующих исследовательских методов связано с перестройкой определенных характеристик учебно-воспитательного процесса и выявлением влияния этой перестройки на возрастные, интеллектуальные и характерологические особенности испытуемых. По существу, данный исследовательский метод выступает в качестве средства создания широкого экспериментального контекста для использования всех других методов психологии.

Формирующий эксперимент часто используется в целях сопоставления влияния различных обучающих программ на психическое развитие испытуемых.
Формирующий эксперимент это:

- массовый эксперимент, т.е. статистически значимый (это значит, что его ареалом является минимум - школа, педагогический коллектив);

- длительный, пролонгированный эксперимент;

- эксперимент не ради эксперимента, а ради реализации той или иной общетеоретической концепции в определенной области психологии (возрастной, детской, педагогической и других отраслях);

- эксперимент комплексный, требующий совместных усилий психологов-теоретиков, психологов-практиков, психологов-исследователей, дидактиков, методистов и др. И поэтому это есть эксперимент, протекающий в особых учреждениях, где все это можно организовать[25] .

Таким образом, формирующий эксперимент является существенной перестройкой психолого-педагогической практики (как совместной деятельности исследователя и испытуемого) и, в первую очередь, перестройкой ее содержания и методов, приводящей к существенным видоизменениям хода психического развития и характерологических особенностей испытуемых. Именно в силу этих своих характеристик данный тип исследовательских методов различных отраслей психологии выявляет резервы психического развития и одновременно конструирует, создает новые психологические особенности испытуемых. Поэтому формирующие и обучающие эксперименты входят в особую категорию методов психологического исследования и воздействия. Они позволяют направленно формировать особенности таких психических процессов, как восприятие, внимание, память, мышление.

Заключение

В заключении необходимо отметить, что в процессе развития психологии изменяются не только теории и понятия, но и исследовательские методы: они утрачивают созерцательный, констатирующий характер, становятся формирующими или, точнее, трансформирующими. Ведущим типом исследовательского метода в экспериментальной области психологии становится формирующий эксперимент.
Итак, развитие методического арсенала современной психологии заключается в особой консолидации всех исследовательских методов, результатом которой является образование нового комплекса исследовательских методов - формирующего эксперимента.

Список использованной литературы

Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999.

.

Немов Р.С Психология / Учебник для студентов высших педагогических учебных заведений. В 3 кн. Кн 3. - 2-ое изд. - М.: Просвещение ВЛАДОС, 1995.

Соколова Е.Е. Введение в психологию. Краткий конспект лекций и методические указания к курсу: Учебно-методическое пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология". - М.: Российское психологическое общество, 1999.

Гиппенрейтер Ю.Б. введение в общую психологию. Курс лекций. - М.: Изд-во Моск ун-та, 1988.


[1] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 123.

[2] Там же.

[3] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 125.

[4] Там же.

[5] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 125.

[6] Там же.

[7] Немов Р.С Психология / Учебник для студентов высших педагогических учебных заведений. В 3 кн. Кн 3. - 2-ое изд. - М.: Просвещение ВЛАДОС, 1995год. Стр. 198.

[8] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 127.

[9] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 128.

[10] Там же.

[11] Немов Р.С Психология / Учебник для студентов высших педагогических учебных заведений. В 3 кн. Кн 3. - 2-ое изд. - М.: Просвещение ВЛАДОС, 1995год. Стр. 200.

[12] Там же.

[13] Немов Р.С Психология / Учебник для студентов высших педагогических учебных заведений. В 3 кн. Кн 3. - 2-ое изд. - М.: Просвещение ВЛАДОС, 1995год. Стр. 202..

[14] Там же.

[15] Соколова Е.Е. Введение в психологию. Краткий конспект лекций и методические указания к курсу: Учебно-методическое пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 – «Психология». - М.: Российское психологическое общество, 1999 год. Стр. 213.

[16] Там же.

[17] Соколова Е.Е. Введение в психологию. Краткий конспект лекций и методические указания к курсу: Учебно-методическое пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 – «Психология». - М.: Российское психологическое общество, 1999 год. Стр. 213.

[18] Гиппенрейтер Ю.Б. введение в общую психологию. Курс лекций. - М.: Изд-во Моск ун-та, 1988 год. Стр.213.

[19] Там же.

[20] Там же. Стр. 215.

[21] Гиппенрейтер Ю.Б. введение в общую психологию. Курс лекций. - М.: Изд-во Моск ун-та, 1988 год. Стр.217.

[22] Там же.

[23] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 134.

[24] Хрестоматия по курсу введение в психологию. Учебное пособие для студентов факультетов психологии высших учебных заведений по специальностям 52100 и 020400 - "Психология" / Ред.-сост. Е.Е.Соколова. - М.: Российское психологическое общество, 1999 ГОД. СТР. 135.

[25] Там же.