8.5. Педагогические измерения
Тестирование, формы тестовых заданий
В образовательном процессе тесты используются для проверки качества знаний. До 60-ых годов смысл тестов усматривался в дифференциации обучающихся по знаниям. После 60-х годов тесты стали ориентироваться на критериальную дифференциацию. Тесты могут быть гомогенными (по одной учебной дисциплине) и гетерогенными, проверяющие сумму знаний по нескольким учебным дисциплинам. Тестирование предполагает системность от момента поступления человека в учебное учреждение до его окончания. Разрабатываются тесты и осуществляют тестирование специалисты по тестологии.
Цели тестирования могут быть разные: итоговая аттестация и акредитация вуза; оценка эффективности работы подразделения учебного заведения (кафедры, методической комиссии), преподавателя; выявление структуры знаний у обучающихся; диагностика усвоения знаний, выявление пробелов; профориентация и профотбор.
Для научного создания тестов необходимо владеть:
1) методологией, т.е. теорией методов создания тестов;
2) теорией педагогических измерений;
3) педагогической теорией тестов.
Единицами тестирования служат тестовые задания - одна единица контрольного материала, сформулированная в виде утверждения, предложения с неизвестным, удовлетворяющая ряду требований. Задания в тестовой форме проходят экспертную проверку и им приписывается определенная оценка.
Формы тестовых заданий
I. Закрытая форма. Тест содержит основную часть и ответы. Надо выбрать правильный ответ, действуя по инструкции.
Требования к тесту в закрытой форме:
Стандартная инструкция: равная правдоподобность заданий; полная ясность текста (не должно быть разночтений); предельная краткость; простая стилистическая конструкция; в задание включается больше слов, чем в ответ; все ответы, правильные и неправильные, должны быть равные по длине; исключаются вербальные ассоциации, способствующие выбору правильного ответа; исключаются лишние слова; необходимо проверять не одно задание, а несколько; необходимо наличие одной стандартной инструкции; правильный ответ должен быть только один; не должно быть противоречия между основной частью и ответом.
II. Открытая форма. Обучающийся сам формулирует словесный или графический ответ. Инструкция гласит: “Дополните ... “.
Требования к тесту в открытой форме: дополняющее слово ставится в конце; дополняющее слово должно быть единственным; все прочерки на листе дополняющего слова должны быть одинаковой длины.
III. Задания на соответствие. Они содержат два множества: правый столбик: для выбора, левый - для ответа. В правом названных элементов на 1-2 больше. Инструкция гласит: ’’Установите соответствие между элементами правого и левого столбцов”.
IV. Задания на установление правильной последовательности. Такие тесты хороши для технических специальностей, т.к. содержат знания алгоритма. Инструкция: установить правильную последовательность сборки, операций.
Перечень характеристик тестовых заданий
1. Содержание. Чем полнее отражено содержание курса в тестовом задании, тем выше валидность теста. Требования к тесту: а) предметная частота: чем меньше междисциплинарных элементов, тем чаще содержание дисциплины; б) значимость содержания: выделяется базис дисциплины, элементы содержания ранжируются; в) содержание должно быть вариативным, репрезентативным, более полно отражать знание курса; г) содержание должно быть научно достоверным, отражать современное состояние научного знания.
2. Формы тестовых заданий. Выбор формы зависит от содержания курса, цели контроля, умений разработчика.
3. Степень трудности теста. Задания должны быть разной трудности. Есть задания, которые не может сделать никто; есть задания, которые выполняют все; 60-70% составляют задания средней трудности.
4. Дифференцирующая способность теста. Знающие обучающиеся должны выполнить задание, незнающие - нет.
5. Локальная независимость. Выполнение заданий не зависит от результатов выполнения других форм работы.
6. Информативность задания. Каждое задание выполняет информационную функцию.
7. Коррелируемость заданий с критерием.
Этапы разработки тестовых заданий
Разработка тестов осуществляется поэтапно.
1. Выбор содержания задания.
2. Выбор формы задания.
3. Создание инструкции и описание теста.
4. Апробация теста (сбор эмпирических данных).
5. Обработка эмпирических данных.
6. Экспертиза качества теста.
Методы оценки критериев качества теста
Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Основу классических тестов составляет идея их параллельности. Параллельными называются тесты, в которых истинные и ошибочные компоненты равны на одной и той же выборке испытуемых. Они имеют одни и те же элементы содержания, одну и ту же трудность задания.
Надежность - устойчивость результатов теста, получаемых при его применении. Существуют следующие методы оценивания:
1. Параллельное тестирование в 2-х группах.
2. Ретестовая надежность (повторное тестирование).
3. Расщепление теста (четкие и нечеткие номера заданий). Чем выше корреляция между частями, тем надежнее тест.
Валидность - пригодность теста, т.е., способность качественно измерить то, для чего он создан. Оценивается валидность корреляцией с результатами экзаменов, профессиональной деятельностью.
Вышеописанные вопросы по педагогическим измерениям, представлены в работе [7].
Представляет интерес и решение проблемы дидактического тестирования в работах В.П.Беспалько и Н.Б. Лаврентьевой и др.
В.П.Беспалько в работе [2] сформулировал требования к дидактическим тестам и разработал методику построения тестов различных уровней. Он выделяет следующие требования, предъявляемые к тестам: а) адекватности (валидности); определенности (общепонятности); в) простоты; г) однозначности; д) надежности. Рассмотрим кратко их содержание.
1. Если содержание задания теста соответствует смыслу и содержанию контролируемой характеристики, то такой тест считается валидным или адекватным уровню усвоения деятельности. Валидность теста может быть функциональной (операциональной, предназначенной оценить практические навыки, приемы деятельности данного уровня) и содержательной (выявляющей объем, качество учебных элементов). Валидность теста можно проверить экспериментально, сопоставив результаты тестирования с результатами других методов контроля (устный опрос, письменная и практическая проверка и др.), по которому уже определен уровень усвоения учебного материала.
2. Под определенностью (общепонятностью) теста понимается качество теста, позволяющее работающему с ним понимать какую именно деятельность он должен выполнять, какие знания и в каком объеме продемонстрировать.
3. Простота теста означает, что задание должно ограничиваться одной задачей. Оно должно быть сформулировано прямолинейно и однозначно. По трудности тесты разделяются на три группы: а) для решения теста необходимо выполнить до трех операций; б) для выполнения теста необходимо совершить от трех до десяти операций; в) для разрешения теста необходимо выполнить свыше десяти операций.
4. Однозначность теста предполагает, что качество его выполнения обучающимся будет оценено различными экспертами (педагогами). Для этого должен быть создан эталон теста, в котором содержатся существенные операции, отражающие цель проверки.
5. Надежность теста требует обеспечения устойчивости результатов при тестировании одного и того же обучающегося. Чтобы проверить: обладает ли он устойчивыми знаниями, испытуемый тестируется несколько раз с помощью разных тестов данного вида. Для повышения надежности теста В.П.Беспалько предлагает пользоваться динамическими тестами - лестницами (несколько батарей тестов разных уровней), в которых решение каждого следующего теста зависит от решения предшествующего теста, а батарея тестов более высокого уровня отражает качество выполнения тестов более низкого уровня. Если обучающийся отвечает правильно, он продвигается по лестнице. Если же он ошибается, то ему дают тесты по той же теме для выяснения степени усвоения темы. Тестирование по тестам-лестницам целесообразно проводить с помощью компьютерной техники.
H. Б. Лаврентьева в работе [8] предлагает четыре уровня тестов (рис. 26). Рассмотрим кратко их содержание.
Тесты I уровня подразделяются на следующие тесты:
I. Тесты опознания. В них обучающемуся задается вопрос, требующий альтернативного ответа: “да” или “нет”, “является” или “не является”, “относится” или “не относится”, “входит” или “не входит” и т.п. Одна из альтернатив является эталонной. В задании обязательно фигурирует объект, о
Рис. 26. Виды тестов
свойствах или характеристиках которого обучающийся должен иметь представление.
2. Тесты различения. Они содержат ответы, из которых обучающийся должен выбрать один или несколько. Эталон такого теста представляет собой соответственно один или несколько правильных ответов. В тестах на различение могут содержаться “помехи”, которые создаются наличием ряда вариантных ответов.
3. Тесты классификации. Они предлагают определение общности или различия в изучении объектов. Причем сравниваемые свойства или параметры обязательно фигурируют в задании.
Тесты II уровня используются для проверки такого уровня усвоения СУИ, когда обучающийся может самостоятельно воспроизводить усвоенные знания и умения и применять их для решения типовых задач (ситуаций), не требующих создания новой информации. Тесты этого уровня подразделяются на следующие:
1. Тесты подстановки. Они могут иметь в задании разнообразные виды информации - словесный текст или формулу, в которых пропущены составляющие части контролирующей информации. Получив такое задание, обучающийся должен воспроизвести в памяти и заполнить пропущенные места, а также выполнить другие указания, содержащиеся в задании. Эталон словесного теста подстановки служит тест пропусков.
2. Конструктивные тесты. Задания этого вида тестов не содержат подсказок. Они требуют от обучающихся совершенно самостоятельного конструктивного ответа (решения): воспроизвести формулировку, дать характеристику, написать формулу (уравнение), проанализировать научное явление, построить график и т. д.
3. Тест “типовая задач”. Он служит для проверки усвоения расчетных формул, алгоритма решения, правильности рассчитываемых величин и т.д. Задание теста содержит условия. Которые включают данные и требования того, что нужно найти в ходе решения. Эталон работы по такому заданию представляет собой рациональную последовательность всех операций, их содержание.
Тесты III уровня. Они конструируются для диагностики усвоения новой информации повышенной сложности, для решения нетиповых задач. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке. Решение задачи этого уровня состоит в сведении ее к типовой задаче путем “очистки" от привходящих обстоятельств и нахождении скрытых в ней дополнительных условий. Выполняя тесты III уровня, обучающийся решает вопрос, как использовать или преобразовать известный ему способ деятельности в новой, нетиповой ситуации.
Тесты IV уровня. Они призваны выявить умения обучающихся принимать решения в проблемных, непредвиденных ситуациях, разрешение которых требует творчества, получения объективно новых результатов. Создание тестов этого уровня затруднено, так как сложно смоделировать творческую деятельность (создать эталон). Выявление знаний и умений IV уровня обычно проводится не через тесты, а через задания и задачи, которые могут иметь несколько вариантов решения.
Основой для формирования модулей служат модульные рабочие программы учебных дисциплин. Она представляет собой дидактическую парадигму, состоящую из модульных единиц, каждая из которых имеет вполне определенные деятельностные дидактические цели. Достижение целей обеспечивается конкретной дозой содержания учебного материала. Усвоение этого учебного материала диагностируется выполнением практических работ, заданий, а проверка уровня усвоения определяется текущим и итоговым контролем (зачетом, экзаменом).