8.6. Моделирование дидактических тестов
Данный параграф является обобщением рассмотренных методологических и теоретических вопросов по созданию и применению тестов в дидактике.
В практике педагогического контроля нужны как междисциплинарные, так и предметные дидактические тесты. Тест как научно обоснованная дидактическая методика начинается с замысла. Долговечность теста во многом зависит от заложенных в нем еще на стадии начальной разработки возможностей, в том числе измерения и улучшения.
Тест целесообразно проектировать на четырех уровнях:
1. Теоретическая идеальная система.
2. Идеальная система в перспективе.
3. Технически возможное идеальное решение в настоящее время.
4. Технически возможное реальное решение в конкретных условиях оптимизации имеющихся интеллектуальных, методических, организационных и технических ресурсов.
В соответствии с четвертым уровнем и надо выстраивать систему целей, задач и связанных с ними исследовательских процедур по разработке, апробации и стандартизации дидактического дисциплинарного теста. Перечень спроектированных характеристик будет в каждом конкретном случае зависеть от квалификации разработчиков, их кругозора, эрудиции, методического и технического обеспечения.
При разработке тестов целесообразно ориентироваться на ряд ключевых их характеристик.
1. По области применения ориентированных на инвариантное содержание федеральных стандартов образования, которые должны найти свое отражение в новых субтестах. Они могут быть построены по большим, относительно автономным разделам предмета, либо по ключевым дидактическим целям обучения, или с совмещением этих двух подходов. При этом лучше региональные стандарты отражать в отдельных субтестах, что значительно облегчит сопоставление разрабатываемых в разных регионах вариантов базовых, “федеральных” тестов. Сказанное полностью относится и к классам с углубленным изучением учебных предметов.
2. Наиболее актуальна для аккредитации и аттестации образовательных учреждений ориентация разработчиков, в первую очередь на создание теста итогового контроля знаний, обладающих достаточной структурной гибкостью, т.е. состоящим из субтестов, пригодных для объективной оценки знаний на более низких ступенях рубежного контроля, а по возможности и тематического текущего контроля знаний. Оптимальным вариантом было бы такое согласование стандартов образования и целей итогового контроля, при котором тот же тест мог бы выступить в качестве “входного”, проводящего селекцию при отборе на другие ступени образования и в систему профессионального образования от профессиональных технических училищ до вуза.
3. По общей ориентировке замысла в тест такого типа целесообразно включить одновременно задания, позволяющие выступать в качестве нормативного и критериального теста в зависимости от специфики актуализированных диагностических задач. Поскольку реально такой тест создать очень трудно, необходимо четко выделить шкалы для оценивания нормативных и критериальных тестовых заданий или отдельные субтесты, если это позволяют логика и структура диагностируемого учебного материала.
4. По дидактико-психологической ориентации это должен быть одновременно тест диагностики теоретических знаний и достаточно сложных умений, как общеучебных, так и в специальной области проверяемых знаний. Тест должен не только диагностировать, но и прогнозировать развитие соответствующих данной области знаний способностей, особенностей мышления обучающихся.
5. По диагностическому уровню тест должен давать информацию на уровне элементов знаний, умений, существенных характеристик мышления и, если потребуется, то на основе этилогической диагностики выявлять причины отклонений (незнания, неразвитости до нормативного или критериально необходимого минимума или сверхуспехов, ярко выраженных способностей). При этом в сочетании с другими диагностическими методиками данный тест с его субтестами должен позволить педагогу-диагносту выйти на уровень типологической диагностики (тенденции развития реальных возможностец личности в освоении данной области знаний и базирующихся на ней областей знания, в том числе в системе профессиональной подготовки).
6. В идеальном варианте тест должен предусматривать такой спектр видов деятельности испытуемого, в котором бы максимально отражались сущностная и деятельностная стороны диагностируемых знаний и умений. В результате педагогический диагноз мог бы позволять вырабатывать четкие прогнозы. На основе прогнозов, базирующихся на дополнительных шкалах оценки результатов тестирования, диагносты (или компьютер) должны предлагать, исходя из педагогической валидности теста, эффективный комплекс коррекционных мер.
7. Тест должен быть в идеале гетерогенным, ориентирован на спектр внешних критериев, в том числе гетерогенным по форме и логической структуре построения тестовых заданий, нацеленных на решение разных задач диагностических уровней.
8. Тест в целом не должен быть скоростным, если скорость выполнения заданий не является объективной характеристикой внешнего критерия, соответствующей тесту деятельности. Оптимальным, компромиссным вариантом является такое построение теста, при котором отдельные субтесты или блочные комплексы заданий, будут иметь свои обоснованные скоростные нормы, определенные опытно-экспериментальным путем.
9. По форме организации процедуры тестирования тесты в своих эквивалентных (параллельных) вариантах должны предоставлять педагогам- диагностам возможности проводить как индивидуальное или массовое бланковое тестирование, так и работу тестируемого с компьютером в условиях компьютерного класса, т.е. сочетать возможности применения бланкового и компьютерного вариантов. В бланковом варианте необходимо иметь совместимую с компьютерным вариантом максимально общую программу обработки, позволяющую извлекать как можно больше дополнительной диагностируемой информации. В компьютерном варианте нужно включать все потенциальные возможные ресурсы компьютерного тестирования.
10. Тест должен иметь как минимум две эквивалентные (параллельные) формы на каждом языке, на который он переведен (связано с созданием единого информационно-образовательного пространства). В компьютерном варианте необходимо иметь достаточный набор эквивалентных заданий по каждому диагностируемому учебному элементу для их вероятностного отбора методом случайных чисел, для чего необходима специальная программа, обеспечивающая свой эквивалентный вариант на каждом рабочем месте в компьютерном классе.
11. Тест в целом (включая субтесты) должен иметь профессионально выполненную спецификацию, в которой необходимо в четких, конкретных формулировках определить диагностические функции каждого задания. Спецификация заключается в составлении таблицы, в которой каждому элементу или вопросу, теме соответствуют конкретно сформулированные учебные цели, а на их пересечении указывается количество заданий (желательно и их номера в тесте).
12. Все тестовые задания и инструктивные материалы к тесту должны быть представлены лексически грамотно, доступным языком, в лаконичной, но исключающей возможное непонимание форме, с четким графически изображением формул, схем, рисунков и т.д.
13. Дидактический тест должен содержать только хорошо спланированные задания оптимальной степени трудности (40-60 %). При этом в описанных нормативных тестах и руководства к нему должны быть представлены данные о том, какова селективность каждого задания как для универсального теста, так и для профилированных субтестов, а также для субтестов этилогической (углубленной) диагностики. Под селективностью заданий имеется в виду взаимосвязь данного задания со всеми другими в тесте - положительную и отрицательную корреляцию.
14. Тест должен пройти апробацию на репрезентативных выборках с приведением данных о выборке, способах ее расчета, о полной совокупности обследуемых.
15. Тест должен быть достаточно экономичен в плане как финансовых затрат на его использование, так и в плане трудовых затрат на его применение, обработку, анализ и интерпретацию данных.
16. Данные о надежности теста как технически возможного идеального решения должны включать результаты определения надежности параллельных (эквивалентных) форм и для перепроверки еще по одному из видов определения надежности. В идеальном тесте желательно иметь данные по всем методикам проверки надежности.
17. Данные о валидности теста - его ценности как измерительного инструмента - должны включать по программе минимум сведений:
а) о содержательной валидности теста: куррикулярная валидность - программная (по типовой программе); - конструктная валидность - адекватность структуры теста структуре отраженного в нем диагностируемого явления, предметной области. При наличии каких-либо отклонений (пропущена тема, мало вопросов по какому-либо разделу и др.) необходимо обосновать мотивацию принятых решений;
б) по критериальной валидизации как минимум данные о корреляции теста с интегративными парциальными (отдельными, систематически выставляемыми в ходе текущего контроля) оценками успеваемости по этому предмету;
в) по прогностической валидности как минимум определяются данные корреляции теста какой-либо предстоящей обследуемой деятельности, например, корреляция в вузе тестов по физике с успешностью обучения технико-технологическим дисциплинам специализации или с производственной практикой, качеством дипломных работ;
г) по конкурентной валидности данные корреляции с ранее имевшимися стандартизированными тестами (а если их нет, то с применявшимися ранее данными других средств контроля - лабораторными работами, традиционными занятиями и др.);
д) по локальной валидности данные о валидности для типичных подгрупп обучающихся, выделенных по внешнему критерию, например, по успеваемости в данном предмете (сильные, средние, слабые) и по статическим параметрам (крайние группы, лучше всех и хуже всех справившихся с тестом).
В руководстве к прошедшему апробацию дидактическому тесту данные о валидности должны постоянно пополняться в процессе его использования и выявления всех диагностических возможностей, которые далеко не всегда сразу становятся явными.
Информация о тесте должна расширяться в первую очередь за счет введения новых внешних критериев, более детального учета различных влияющих на тест факторов (факторная валидность) при определении конкурентной валидности с новыми тестами или иными методиками, при расширении представления о локальной валидности при апробации на новых контингентах обследуемых.
По мнению исследователей, для достижения максимальной валидизации теста опытно-экспериментальная работа по его совершенствованию может идти по следующим направлениям:
A. Куррикулярная валидность дополняется данными по альтернативным программам, ориентированным на один общий стандарт образования в дополнение к типовой программе.
Б. По психологической валидности теста можно будет получать в результате анализа его окончательного варианта необходимые данные. Причем как по тесту в целом, так и по субтестам, что наглядно покажет какие психические свойства испытуемых измеряют те или иные задания одновременно с прочностью и объемом знания, уровнем развития умений.
B. По критериальной валидности необходимо будет пополнять описание теста, информацию о нем сведениями: а) о критериальной валидности субтестов и отдельных групп заданий по отношению к итоговой успеваемости обучающихся по данному учебному предмету, суммарным результатам теста, успеваемости по другим дисциплинам данного цикла; б) дополнится со временем представления о валидности по структурным элементам различных внешних критериев.
Г. По прогностической валидности. В перспективе желательно по стандартизированному тесту получить сведения об успешности окончания учебного заведения, защите диплома и успешности профессиональной карьеры.
Д. По педагогической валидности теста данные можно получить только в процессе накопления информации об адекватности тех или иных комплексов, рекомендуемых по итогам тестирования, коррекционных мер.
Е. По локальной валидности информация о тесте будет постепенно пополняться по мере расширения области его применения. Представления о локальной валидности теста пополняются при углублении методологического анализа результатов тестирования, за счет совершенствования статистикоматематического аппарата.
Ж. По конкурентной валидности теста будет постоянно накапливаться информация по мере сопоставления результатов данного теста с другими прошедшими стандартизацию тестами, с тестами диагностики интеллекта, общей обученности, особенностей протекания психических процессов. Одновременно по мере совершенствования других средств контроля педагогического процесса должны накапливаться сведения об их сравнительной эффективности.
3. Сведения о синтетической валидности теста могут быть получены только с накоплением качественной информации о других системах измерения и будут расширяться по мере увеличения области его применения, пропаганды и распространения теста среди массовых пользователей.
Описанная выше система стандартизации теста с ориентацией на идеальный вариант (программа-максимум) и на технически и реально возможный вариант (программа-минимум) определяют принципиальные направления экспериментов по стандартизации теста.
За основу целесообразно принимать на начальной стадии вариант программы-минимум, скорректированный с учетом возможностей исследователя-разработчика или исследователей теста, технической оснащенности, фактора времени (детерминированного логикой нерекращающегося педагогического процесса).
Четырехкомпанентная структура диагностической цели, которая выступает как эталон достигаемых обучающимся результатов: 1) характеристика внешних условий; 2) ожидаемые результаты деятельности (или наблюдаемые действия); 3) эталонные признаки результатов (критерии); 4) метод оценки (измерения). Формализованная запись такого эталона приведена в табл.6.
Таблица 6. Форма записи экспериментальной проверки теста
Технологически построенный педагогический процесс унаследовал от программированного обучения сквозное использование тестов. Наиболее распространенными формами тестовых заданий являются вопросы, предполагающие либо выборочный ответ (выбор одного из 4-5), либо конструируемый ответ (формируется самым обучающимся).
Литература
1. Ожегов С.И. Толковый словарь языка / РАН. Институт русского язык им. В.В.Виноградова / С.И. Ожегов, Н.Ю. Шведова. - 4-е изд., дополнение. - М.: Азбуковник, 1997. - 944 с.
2. Беспалько В.П. Слагаемые педагогической технологии / В.П. Беспалько.. - М.: Педагогика, 1989. - 192 с.
3. Оконь В. Введение в общую дидактику / В.Оконь / Пер. с пол. Л.Г.Кашкуревича, Н.Г.Горина. - М.: Высш. шк., 1990. - 382 с.
4. Педагогика: Учеб. пособие для студ. пед. ин-тов / Ю.К.Бабанский, В.А.Сластенин, Н.А. Сорокин и др.; Под ред. Ю.К.Бабанского. - 2-е изд., доп. и перераб. - М.: Просвещение, 1988. - 479 с.
5. Щукина Г.И. Педагогические проблемы формирования познавательных интересов учащихся / Г.И. Щукина. - М.: Педагогика, 1988. - 208 с.
6. Бабанский Ю.К. Оптимизация учебно-воспитательного процесса: (Метод. основы) / Ю.К. Бабанский. - М.: Просвещение, 1982. - 192 с.
7. Педагогика и психология высшей школы / Отв. ред. С.И.Самыгин. - Ростов н/Д.: “Феникс", 1998. - 544 с.
8. Лаврентьева Н.Б. Педагогические основы разработки модульной технологии обучения / Н.Б. Лаврентьева. - Барнаул: Изд-во Алт. ГТУ, Алт.АЭП, 1998. - 252 с.
9. Лернер И.Я. Качества знаний учащихся. Какими они должны быть?/ И.Я. Лернер. - М.: Знание, 1978. - 47 с.
10. Модуьно-рейтинговая технология обучения (опыт применения в вузе и средней школе). - Барнаул: Изд-во Алтайского гос. ун-та, 1993.
11. Красильникова В.А. Технологии оценки качества обучения В.А. Красильников. - М.: Издательский центр НОУ ИСОМ, 2003. - 46 с.