Методы и модели интеллектуального автоматизированного контроля знаний
Методы и модели интеллектуального автоматизированного контроля знаний
Калининградский Государственный Технический Университет
Кафедра СУ и ВТ
Реферат
«Методы и модели интеллектуального автоматизированного контроля знаний»
|Проверил |Выполнил |
|к.тн., доцент кафедры СУ и ВТ КГТУ |Соловей |
|Рудинский Игорь Давидович |Евгений Владимирович |
|оценка___________________ |«____»_________2001 |
|«______»_____________2001 |__________________ |
|_________________________ | |
Калининград
2001
Аннотация
Настоящий реферат содержит результаты анализа методов и моделей
интеллектуального контроля знаний с применением средств вычислительной
техники, существующих на данный момент в области образования. Также
рассказывается о новых разработках в этой области и собственных мыслях
автора. Узловыми вопросами работы является обзор имеющихся средств
автоматизации контроля знаний и тестирования, теоретические разработки
различных авторов, методы построения интеллектуальных систем контроля,
модели оценивания знаний.
Содержание
Введение 5
1. Контроль и тестирование 7
1.1 Функции контроля 7
1.1.1 Контролирующая функция 7
1.1.2 Обучающая функция 7
1.1.3 Диагностическая функция 8
1.1.4 Прогностическая функция 8
1.1.5 Развивающая функция 8
1.1.6 Ориентирующая функция 9
1.1.7 Воспитывающая функция 9
1.2 Методы контроля 9
1.2.1 Устная проверка 9
1.2.2 Проверка письменно – графических работ 11
1.2.3 Проверка практических и лабораторных работ 12
1.3 Средства контроля 12
1.3.1 Безмашинные средства контроля 12
1.3.1.1 Проверка домашнего задания 12
1.3.1.2. Диктант 13
1.3.1.3 Организация самостоятельных работ 13
1.3.1.4. Организация контрольных работ 13
1.3.2 Машинные средства проверки 14
1.4 Компьютерное тестирование 14
2. Интеллектуальное тестирование 19
2.1 Методы и модели 20
2.1.1 Модели распознавания образа уровня знаний 20
2.1.2 Предметно - критериальная методика составления тестов 22
2.1.3 Метод определения количества образовательной информации 24
2.1.4 Информационно-генетические алгоритмы 26
2.1.5 Модель Раша 28
2.1.6 Абсолютная временная шкала измерения знаний 31
2.1.7 Методика статистического анализа качества обучения 32
2.1.8 Модель адаптивного тестового контроля 34
2.1.9 Концептуальная модель адаптивного тестового контроля знаний 36
2.1.9.1 Блок целей обучения 36
2.1.9.2 Блок содержания 36
2.1.9.3 Блок измерения 37
2.1.9.4 Блок адаптивного обучения 39
2.1.9.5 Блок системы мониторинга. 42
2.1.10 Технология рейтинговых исследований качества образования с
применением нейронных сетей 42
2.2 Собственные разработки 45
2.2.1 Тестирование по методу цепочек вопросов 45
2.2.2 Автоматизированный контроль знаний по методике уточняющих вопросов
46
2.2.4 Алгоритмы прямого тестирования в интеллектуальной
автоматизированной системе контроля знаний 48
2.2.5 Метод адаптивного автоматизированного тестирования знаний 50
Заключение 52
Список использованной литературы 54
Введение
В последние годы в России в сфере образования наблюдается
стремительное усиление интереса к автоматизации промежуточного и финального
контроля результатов обучения учащихся самых различных учебных заведений,
начиная от школ и заканчивая коммерческими курсами. Самым популярным видом
такого контроля является тестирование, основанное на диалоге вычислительной
системы с пользователем. Стремительный рост быстродействия компьютерных
систем, уменьшение цен на вычислительную технику, появление качественных и
мощных систем программирования увеличило потребность в системах,
позволяющих объективно, быстро и надежно оценивать знания учащихся,
предлагая интересные формы взаимодействия с ними.
Но вопрос создания таких систем является не однозначным, и авторы
существующих разработок иногда отходят от педагогической и психологической
стороны вопроса, пытаясь максимально увеличить привлекательность своих
программных продуктов за счет средств мультимедиа. Иногда программисты
просто игнорируют процесс взаимодействия с непосредственно носителями
знаний (преподавателями), что отражается на существующих приложениях. Очень
часто сами преподаватели не владеют в должной мере методами оценки качества
создаваемых тестов (будем говорить о тестировании).
Необходимо отметить, что первые концепции компьютеризации обучения
возникли более 30 лет назад под лозунгом “техническое перевооружение
педагога, механизация его труда”, “обучающей машины”, имитирующей процесс
индивидуальной работы преподавателя с обучаемым. Со временем росло
понимание их ограниченности. Определенное распространение получили попытки
использовать в учебном процессе системы искусственного интеллекта [1].
Именно применение методов искусственного интеллекта и инженерии знаний, на
мой взгляд, поможет превозмочь субъективность и прямолинейность процесса
тестирования, поднимая уровень оценивания знаний машинными системами. Дело
в том, что применение традиционных методов компьютерного обучения и
контроля (прямое тестирование, бальная система, и т.д.) неприемлемо: для
того, чтобы оценить знания обучаемого, преподавателю приходится
переработать огромное количество информации, и процесс взаимодействия
оценивающего и оцениваемого не поддается строгой формализации, поэтому три
основные алгоритмические структуры (последовательная, ветвление, цикл) при
реализации машинных систем не смогут описать в полной мере данную
предметную область. Т.е. осуществление автоматизированного контроля знаний,
умений обучаемых, в первую очередь, включает решение проблемы определения
совокупности требуемых качеств знаний, без которых критерии оценки знаний и
способы определения уровня их усвоения выявить нельзя.
Автор в данной работе попытался показать некоторые существующие методы
и модели интеллектуального тестирования (см. 2), описать и оценить качество
существующих систем контроля, выдвинуть собственные идеи.
1. Контроль и тестирование
Основная цель контроля знаний и умений состоит в обнаружении
достижений, успехов учащихся, в указании путей совершенствования,
углубления знаний, умений, с тем, чтобы создавались условия для
последующего включения учащихся в активную творческую деятельность. Эта
цель в первую очередь связана с определением качества усвоения учащимися
учебного материала – уровня овладения знаниями, умениями и навыками
предусмотренных программой. Во – вторых, конкретизация основной цели
контроля связана с обучением приемам взаимоконтроля и самоконтроля,
формированием потребности в самоконтроле и взаимоконтроле.
В - третьих эта цель предполагает воспитание у учащихся таких качеств
личности, как ответственность за выполненную работу, проявление инициативы.
Если перечисленные цели контроля знаний и умений учащихся реализовать,
то можно говорить о том, что контроль выполняет следующие функции:
контролирующую, обучающую (образовательную), диагностическую,
прогностическую, развивающую, ориентирующую, воспитывающую [3]. Рассмотрим
эти функции более подробно.
1.1 Функции контроля
1.1.1 Контролирующая функция
Контролирующая функция состоит в выявлении состояния знаний и умений
учащихся, уровня их умственного развития, в изучении степени усвоения
приемов познавательной деятельности, навыков рационального учебного труда.
При помощи контроля определяется исходный уровень для дальнейшего
овладения знаниями, умениями и навыками, изучается глубина и объем их
усвоения. Сравнивается планируемое с действительными результатами,
устанавливается эффективность используемых преподавателем методов, форм и
средств обучения.
1.1.2 Обучающая функция
Обучающая функция контроля заключается в совершенствовании знаний и
умений, их систематизации. В процессе проверки учащиеся повторяют и
закрепляют изученный материал. Они не только воспроизводят ранее изученное,
но и применяют знания и умения в новой ситуации. Проверка помогает выделить
главное, основное в изучаемом материале, сделать проверяемые знания и
умения более ясными и точными. Контроль способствует также обобщению и
систематизации знаний.
1.1.3 Диагностическая функция
Сущность диагностической функции контроля – в получении информации об
ошибках, недочетах и пробелах в знаниях и умениях учащихся и порождающих их
причинах затруднений учащихся в овладении учебным материалом, о числе,
характере ошибок. Результаты диагностических проверок помогают выбрать
наиболее интенсивную методику обучения, а также уточнить направление
дальнейшего совершенствования содержания методов и средств обучения.
1.1.4 Прогностическая функция
Прогностическая функция проверки служит получению опережающей
информации об учебно-воспитательном процессе. В результате проверки
получают основания для прогноза о ходе определенного отрезка учебного
процесса: достаточно ли сформированы конкретные знания, умения и навыки для
усвоения последующей порции учебного материала (раздела, темы).
Результаты прогноза используют для создания модели дальнейшего
поведения учащегося, допускающего сегодня ошибки данного типа или имеющего
определенные пробелы в системе приемов познавательной деятельности.
Прогноз помогает получить верные выводы для дальнейшего планирования и
осуществления учебного процесса.
1.1.5 Развивающая функция
Развивающая функция контроля состоит в стимулировании познавательной
активности учащихся, в развитии их творческих способностей. Контроль
обладает исключительными возможностями в развитии учащихся. В процессе
контроля развиваются речь, память, внимание, воображение, воля и мышление
школьников. Контроль оказывает большое влияние на развитие и проявление
таких качеств личности, как способности, склонности, интересы, потребности.
1.1.6 Ориентирующая функция
Сущность ориентирующей функции контроля - в получении информации о
степени достижения цели обучения отдельным учеником и группой в целом –
насколько усвоен и как глубоко изучен учебный материал. Контроль
ориентирует учащихся в их затруднениях и достижениях.
Вскрывая пробелы, ошибки и недочеты учащихся, он указывает им
направления приложения сил по совершенствованию знаний и умений. Контроль
помогает учащемуся лучше узнать самого себя, оценить свои знания и
возможности.
1.1.7 Воспитывающая функция
Воспитывающая функция контроля состоит в воспитании у учащихся
ответственного отношения к учению, дисциплины, аккуратности, честности.
Проверка побуждает более серьезно и регулярно контролировать себя при
выполнении заданий. Она является условием воспитания твердой воли,
настойчивости, привычки к регулярному труду [3].
Выделение функции контроля подчеркивает его роль и значение в процессе
обучения. В учебном процессе сами функции проявляются в разной степени и
различных сочетаниях. Реализация выделенных функций на практике делает
контроль более эффективным, а также эффективней становится и сам учебный
процесс.
Итак, контроль знаний является неотъемлемой частью учебного процесса.
Существует несколько методов контроля, рассмотрим основные из них.
1.2 Методы контроля
1.2.1 Устная проверка
Устная проверка организуется по-разному, в зависимости от ее цели и от
содержания проверяемого материала. Среди целевых установок проверки можно
выделить следующие: проверить выполнение домашнего задания, выявить
подготовленность учащихся к изучению нового материала, проверить степень
понимания и усвоения новых знаний. В зависимости от содержания она
проводится по материалу предшествующего урока или по отдельным разделам и
темам курса.
Методика устной проверки включает в себя две основные части:
. составление проверочных вопросов и их задание;
. ответ учащихся на поставленные вопросы.
Составление проверочных вопросов и заданий - важный элемент устной
проверки. Качество вопросов определяется их содержанием, характером
выполняемых учащимися при ответе на вопросы умственных действий, а также
словесной формулировкой.
При составлении вопросов всегда исходят из того, что проверять следует
те знания, которые являются основными в данном курсе или относительно
трудно усваиваются учащимися или которые необходимы для успешного усвоения
дальнейших разделов и тем курса. На подбор вопросов оказывает влияние вид
проверки: для уточнения содержания вопросов для текущей проверки необходим
анализ связей изучаемого материала с ранее пройденным, а для тематической и
итоговой проверки - выделение ведущих знаний и способов оперирования ими.
Причем устную проверку считают эффективной, если она направлена на
выявление осмысленности восприятия знаний и осознанности их использования,
если она стимулирует самостоятельность и творческую активность учащихся.
Качество вопросов определяется характером умственных действий, которые
выполняют учащиеся при ответе на вопрос. Поэтому среди проверочных заданий
выделяют вопросы, активизирующие память (на воспроизведение изученного),
мышление (на сравнение, доказательство, обобщение), речь. Большое значение
имеют проблемные вопросы, которые заставляют применять полученные знания в
практической деятельности.
Качество устной проверки зависит от подбора, последовательности и
постановки вопросов, которые предлагаются, во-первых, каждый вопрос должен
быть целенаправленным и логически завершенным, а, во-вторых, должен быть
предельно сжатым, лаконичным и точным.
Второй составной частью устной проверки является ответ учащегося на
вопросы. В дидактической литературе выделяются два условия качественного
выявления знаний учащегося:
. ученику никто не мешает (преподаватель и аудитория комментируют
ответ потом);
. создается обстановка, которая обеспечивает наилучшую работу его
интеллектуальных сил.
Прерывать ученика можно только в том случае, если он не отвечает на
вопрос, а уклоняется в сторону. При оценке ответа ученика обращают внимание
на правильность и полноту ответа, последовательность изложения, качество
речи.
Приемы устной проверки используются на различных этапах урока. Выбор
тех или иных приемов во многом предопределяется целью и логикой урока.
1.2.2 Проверка письменно – графических работ
Вторым широко применяемым методом контроля в обучении является
проверка письменно - графических работ. Этот метод имеет свои качественные
особенности: большая объективность по сравнению с устной проверкой, охват
нужного числа проверяемых, экономия времени. Применение письменных работ
используется для:
. проверки знания теоретического материала;
. умения применять его к решению задач;
. контроля сформированных навыков.
В методике письменно – графических работ выделяют четыре основных этапа,
которым надо уделять внимание, это подготовка, организация, проведение,
анализ результатов.
При подготовке нужно: вычленить цель проверки, отобрать содержание
объектов проверки, составить проверочные задания. Большую помощь при этом
оказывают учебно – методические пособия, образцы проверочных работ в
журналах.
При организации проверочной работы учащимся сообщается, какие задания
им предназначены, как озаглавить работу, как оформить решение, время
выполнения работы. При этом следить за самостоятельностью выполнения работы
каждым учеником.
Анализ ответов учащихся эффективен тогда, когда он проводится по
определенным схемам (схемам поэлементного анализа). Тщательно проведенный
анализ позволяет глубоко изучить пробелы и достижения отдельных учеников,
выделить типичные ошибки и основные затруднения учащихся, изучить причины
их появления и наметить пути их устранения.
1.2.3 Проверка практических и лабораторных работ
С помощью этого метода получают данные об умении учащихся применять
полученные знания при решении практических задач, пользоваться различными
таблицами, формулами, чертежными и измерительными инструментами, приборами.
Преподаватель получает отчет ученика, в котором приводится только
результат или схематически описаны план практической работы и ее
результаты. Это несколько затрудняет проверку и оценку каждого действия
ученика. Поэтому на практике в проверочном задании приводится алгоритм его
выполнения, что позволяет осуществить такую проверку правильности действий
ученика. Все работы проверяются, но оцениваются по-разному, по результатам
обзорных работ оценки выставляются, по результатам тренировочных работ
можно выставить лишь положительные оценки.
Таким образом, несколько методов контроля, удачно подобранных
преподавателем в своей образовательной деятельности, позволят достаточно
объективно оценить знания учащихся, проконтролировать то, что было изучено
и сделано за определенный период. Средства, применяемые преподавателями в
своей практике, очень различны.
1.3 Средства контроля
В настоящее время создаются и распространяются такие средства, которые
не требуют больших затрат времени на подготовку, проведение и обработку
результатов. Среди них выделяют машинные и безмашинные средства проверки.
1.3.1 Безмашинные средства контроля
Среди безмашинных средств проверки наиболее распространены в практике
устный опрос учащихся у доски, проверка учителем тетрадей с домашним
заданием, диктант, самостоятельная и контрольная работы.
1.3.1.1 Проверка домашнего задания
Роль домашних заданий практически обесценивается, если не налажена их
проверка. Преподаватели практикуют разные формы учета. Это и устный опрос у
доски или с места по домашнему заданию, и короткая письменная работа, но,
прежде всего это непосредственная проверка задания в тетрадях – фронтальная
при обходе класса в начале и более основательная, выборочная во внеурочное
время.
Также существует самопроверка по образцу и применяется на первом уроке
после объяснения нового материала. Образец решения домашней работы записан
на доске заранее. Учащиеся рассматривают решение образец и устно
комментируют его, тетради у всех закрыты. Затем открываются тетради и
проверяются свои работы по образцу, подчеркивая ошибки. Этот способ
развивает внимание и выявляет ошибки с помощью образца.
Взаимопроверка с помощью образца используется на следующем уроке. В
этом случае учащиеся проверяют домашнюю работу своего соседа тоже по
образцу. Как и в первом случае, окончательно тетради проверяет
преподаватель.
1.3.1.2. Диктант
Диктант может заменить опрос по теме, заданной для повторения. Его
продолжительность обычно 10-20 минут. Он представляет собой систему
вопросов, связанных между собой.
1.3.1.3 Организация самостоятельных работ
При изучении важно, чтобы учащиеся не только знали теоретический
материал, но и умели применять его к решению задач и упражнений, обладали
бы рядом навыков (вычислительными навыками, умениями преобразовывать
выражения и т.д.). Эти умения и навыки могут быть по настоящему проверены
только в письменной работе. Обычно самостоятельные работы проводятся после
коллективного решения задач новой темы и предшествуют контрольной работе по
этой теме.
1.3.1.4. Организация контрольных работ
Контрольная работа может быть кратковременной и долговременной.
1. Перед проведением контрольной работы необходимо определить объект
контроля, цель предстоящей работы и средства контроля. Они должны быть
сообщены учащимся;
2. В зависимости от вида заданий нужно продумать, каким образом ученик
должен их оформить;
3. Учитель должен продумать что он отнесет к недочетам, а что к ошибкам,
из этого будет складываться оценка. Критерии оценки хотя бы в общих
чертах должны быть известны учащимся;
4. Контрольная работа должна быть посильной для всех учащихся без
исключения. Сильным ученикам нужно дать задания труднее;
5. Каждой контрольной работе должна предшествовать самостоятельная работа
с аналогичными упражнениями;
6. Анализ контрольной работы необходимо проводить сразу, для этого
необходимо завершать работу за несколько минут до окончания.
Желательно фрагменты решения разобрать сразу после написания работы,
потому что на следующий день или позже учащиеся уже теряют интерес к
содержанию работы и многие интересуются только оценкой;
7. Обязательно нужно проводить количественный и качественный анализ
контрольной работы.
1.3.2 Машинные средства проверки
Для контроля знаний учащихся используют персональный компьютер. Для
контроля знаний учащихся удобно применять типовые расчеты, которые включают
наиболее характерные задания базового курса [3].
В дальнейшем будем говорить о машинных средствах контроля знаний, и, в
частности, о тестировании с применением средств вычислительной техники.
1.4 Компьютерное тестирование
Идея компьютерного тестирования напрямую проистекает от идеи
программированного контроля знаний. Программированный контроль знаний, в
свою очередь, явился неизбежной реакцией на некоторые проблемы прежде всего
высшего образования в России. Собственно, примерно те же проблемы
распространяются и на школьное образование, но последнее, в силу
традиционной косности, очень слабо восприимчиво к новым технологиям.
Основной проблемой любого образования (и не только российского,
кстати), является отсутствие четкого контроля за качеством усвоения
материала. Причем если в школьной практике учитель еще более-менее имеет
возможность с определенной периодичностью проверять уровень текущих знаний
ученика, то в ВУЗе преподаватель целый семестр выдает материал и лишь в
конце семестра убеждается в уровне его усвоения. Само собой, в системе
высшего образования подразумевается, что студенты должны в достаточной
степени заниматься и самостоятельным образованием, однако, это
предполагаемое самостоятельное получение знаний остается целиком и
полностью на совести студента, и преподаватель абсолютно не может знать,
кто именно из студентов хоть что-то делает самостоятельно. С получением
большим числом обучаемых доступа в Internet положение усугубилось еще и
тем, что теперь даже сдача рефератов не подразумевает абсолютно никакой
работы с информацией; частенько студенты даже не считают нужным целиком
прочесть то, что распечатывают из Сети [4].
Необходимость систематического контроля за усвоением материала
сомнений не вызывает. Прежде всего это давало бы экономию времени
преподавателя, который при отсутствии обратной связи вынужден или повторять
положения, которые студентами давно усвоены, или излагать положения,
основанные на фактах, плохо усвоенных студентами. Во вторую очередь,
систематический контроль за уровнем знаний учащихся стимулирует повышение
качества обучения за счет усиления акцента на трудных для усвоения
положениях и повышения ответственности обучаемых за результаты
самостоятельной работы (в случае, естественно, когда преподаватель в этом
заинтересован).
Важным моментом систематического программированного контроля знаний
является его объективность, что обусловлено переносом акцента с карательной
функции на информативную. Только в таком случае учащийся не будет бояться
контроля и изобретать способы получения повышенной оценки, и только в таком
случае преподаватель будет получать реальную картину знаний учащегося.
Технически программированный контроль знаний прост - учащимся выдается
некий бумажный носитель (расцвет программированного контроля вызвал к жизни
релейно-ламповых "электронных" монстров, которые по сей день можно видеть
на экзаменах по сдаче на водительские права), на котором записаны вопросы и
варианты ответов, один (или несколько) из которых являются правильными.
Учащемуся остается лишь расставить крестики против правильных ответов.
Подобная технология позволила совершить качественный скачок в
осуществлении обратной связи между преподавателем и студентом.
Программированный контроль, состоящий из 8-10 вопросов, проводится за очень
короткий срок - от 5 до 10 минут, и при этом преподаватель может получить
полноценную информацию об усвоении пройденного материала всей учебной
группой одновременно. Кроме того, техническая реализация программированного
контроля позволила полностью избежать списывания, давая возможность
предложить каждому учащемуся свой вариант программированной карты.
Недостатком программированного контроля в его до-компьютерном виде
являлась высокая трудоемкость создания программированных карт, которые (в
идеале) требовались на каждое занятие, и сложность их последующей
обработки. С появлением компьютерных технологий у преподавателей появилась
возможность резко снизить трудоемкость и подготовки контроля, и обработки
результатов.
Выделяют пять общих требований к тестам:
. валидность;
. определенность (общепонятность);
. простота;
. однозначность;
. надежность.
Валидность теста – это адекватность. Различают содержательную и
функциональную валидность: первая – это соответствие теста содержанию
контролируемого учебного материала, вторая – соответствие теста
оцениваемому уровню деятельности.
Выполнение требования определенности (общедоступности) теста
необходимо не только для понимания каждым учеником того, что он должен
выполнить, но и для исключения правильных ответов, отличающихся от эталона.
Требование простоты теста означает, что тест должен иметь одно задание
одного уровня, т.е. не должен быть комплексным и состоять из нескольких
заданий разного уровня. Необходимо отличать понятие “комплексный тест” от
понятия “трудный тест”. Трудность теста принято характеризовать числом
операций P, которое надо выполнить в тесте: P < 3 – первая группа
трудности; P = 3-10 – вторая группа трудности. Не следует также смешивать
понятия простоты-комплексности и легкости-трудности с понятием сложности.
Однозначность определяют как одинаковость оценки качества выполнения
теста разными экспертами. Для выполнения этого требования тест должен иметь
эталон. Для измерения степени правильности используют коэффициент K( = P1 /
P2 , где P1 – количество правильно выполненных существенных операций в
тесте или батарее тестов; P1 – общее количество существенных операций в
тесте или батарее тестов. Существенными считают те операции в тесте,
которые выполняются на проверяемом уровне усвоения. Операции, принадлежащие
к более низкому уровню в число существенных не входят. При K( ( 0.7
считают, что деятельность на данном уровне усвоена.
Понятие надежности тестирования определяют как вероятность правильного
измерения величины K(. Количественный показатель надежности r ( [0, 1].
Требование надежности заключается в обеспечении устойчивости результатов
многократного тестирования одного и того же испытуемого. Надежность теста
или батареи тестов растет с увеличением количества существенных операций P
[5].
Итак, при реализации систем компьютерного тестирования необходимо, на
мой взгляд, придерживаться именно этих пяти требований к создаваемым
тестам. Но проблема компьютерного тестирования стоит намного острее.
Реализация в системах тестирования описанных выше пяти требования к тестам
не означает того, что созданный комплекс будет отвечать всем требованиям
преподавателя и учащегося.
Большинство программных продуктов не дают возможности преподавателю и
студенту, учителю и ученику отойти в реальном учебном процессе от
традиционных методик: лекционного курса, конспекта, очного контроля знаний,
контрольных работ, зачетов, экзаменов. Недостаток этот можно определить
следующим: компьютерный курс является авторским по определению, и поэтому
обеспечивает высокое качество образования только при соответствующем
сопровождении автором (который, в большинстве случаев, не обладает
достаточными знаниями в области информационных технологий). Хотя
отдельные компоненты компьютерного обучающего, контролирующего или
обучающе - контролирующего курса могут использоваться как независимые
учебные модули другими преподавателями (а также и при самостоятельном
освоении темы ), максимальный эффект, скорее всего, может быть достигнут
только во взаимодействии с автором- разработчиком курса.
Если же в образовательный процесс, основанный на авторском
мультимедиа курсе, включается другой преподаватель, возникает опасность
конфликта личностей, так как на едином образовательном поле сталкиваются не
только различные способы методической организации учебного процесса, но и
разные личностные подходы.
Что касается проверки качества знаний, неформальный характер процесса
оценивания знаний требует применения трудно поддающихся обработке
преподавателем компьютерных тестов, необходима активная обратная связь,
помогающая оценить правильность усвоения материала, должна быть четко
выражена определенность и результативность [6].
Именно неформальность знаний как таковых, и процесса проверки знаний
в частности, породило множество проблем в области компьютерного
тестирования, таких как необъективность оценивания, трудность понимания
учащимися подготовленных вопросов, медленная работа компьютерных систем, и
т.п.
На мой взгляд, инженерия знаний и методы теории искусственного
интеллекта помогут создать систему контроля знаний, позволяющую строить
модели знаний преподавателя и тестируемого и объективно оценивать знания и
умения последнего.
2. Интеллектуальное тестирование
В понятие «искусственный интеллект» вкладывается различный смысл — от
признания интеллекта у ЭВМ, решающих логические или даже любые
вычислительные задачи, до отнесения к интеллектуальным лишь тех систем,
которые решают весь комплекс задач, осуществляемых человеком, или еще более
широкую их совокупность. Можно выделить две основные линии работ по
искусственному интеллекту (ИИ). Первая связана с совершенствованием самих
машин, с повышением "интеллектуальности" искусственных систем. Вторая
связана с задачей оптимизации совместной работы "искусственного интеллекта"
и собственно интеллектуальных возможностей человека.
Идея создания мыслящих машин "человеческого типа", которые, казалось
бы, думают, двигаются, слышат, говорят, и вообще ведут себя как живые люди,
уходит корнями в глубокое прошлое. Еще древние египтяне и римляне
испытывали благоговейный ужас перед культовыми статуями, которые
жестикулировали и изрекали пророчества (разумеется, не без помощи жрецов).
В средние века и даже позднее ходили слухи о том, что у кого-то из мудрецов
есть гомункулы (маленькие искусственные человечки) - настоящие живые,
способные чувствовать существа [2]. В настоящее время роботы, системы
распознавания образов, экспертные системы и т.д. вызывают у непосвященного
тот же трепет и восторг перед «думающей» машиной.
Но не зря в свое время были заморожены некоторые исследования в
области ИИ. Попытки создать машинный разум не удавались, и раз за разом
энтузиазм ученых угасал, так как существующие на тот момент вычислительные
средства не позволяли хотя бы приблизительно воссоздать взаимодействие
нейронов головного мозга. Появление многопроцессорных систем и увеличение
количества команд микропроцессоров и его тактовой частоты позволяет сейчас,
на мой взгляд, «построить» приближенное мышление человека с использованием
параллельных процессов и нейронных сетей.
Обращаясь к проблеме роли ИИ в обучении и образовании, будем
рассматривает этот процесс как одну из разновидностей взаимодействия
человека с ЭВМ, и раскрывать среди перспективных возможностей те, которые
направлены на создание так называемых адаптивных обучающихся систем,
имитирующих оперативный диалог учащегося и преподавателя-человека.
2.1 Методы и модели
Интеллектуальное тестирование предполагает наличие модели знаний,
модели самого процесса тестирования и оценивания. Так можно
охарактеризовать в общем все разработки в этой области. Рассмотрим
некоторые из них более подробно.
2.1.1 Модели распознавания образа уровня знаний
Традиционная Российская система оценивания знаний обучаемых основана
на лингвистических оценках, по которым устанавливается стипендия,
производится учет успеваемости, проставляются записи в зачетных книжках за
период обучения и др.
Вместе с тем, такая новая образовательная процедура как
образовательное тестирование по альтернативному признаку предполагает
оценивание уровня знаний в диапазоне от нуля до ста, что порождает проблему
распознавания лингвистического образа знаний по результатам такого
образовательного тестирования.
Под образом уровня знаний понимаются обучаемые, принадлежащие к
множеству (группе), знания которых по “эталону уровня знаний” отнесены к
лингвистическим оценкам неудовлетворительно (D), удовлетворительно (C),
хорошо (B), отлично (A).
Под распознаванием образа уровня знаний понимается процедура принятия
решения о принадлежности конкретного обучаемого к одному из указанных
образов на основании сравнения его образовательных достижений при
тестировании с характеристиками образа.
При тестировании по альтернативному признаку используется закрытая
форма теста, характеристиками которой являются: функция плотности
распределения неправильных ответов f(d), приемлемый уровень неправильных
ответов q0, неприемлемый уровень неправильных ответов q1, риск заниженной
оценки знаний a, риск завышенной оценки знаний b, функция оценивания знаний
f(Q), объем образовательной информации N, объем выборки заданий теста n и
критерий принятия решений в виде предельного числа неправильных ответов K.
Перечисленные характеристики являются взаимозависимыми, но не
обладающими достаточным свойством четкости. В условиях их нечеткости для
распознавания образа уровня знаний обучаемых вполне допустимо для нормально
реализованной образовательной услуги принять модель распределения
неправильных ответов по закону редких случайных событий Пуассона и функцию
оценивания уровня знаний сформировать по этому же закону [8].
Поскольку образовательная информация в банке заданий теста N в их
выборке n представляется как статистическая совокупность, а задания теста
обучаемому в компьютерном варианте всегда для выполнения выдаются
последовательно, то для распознавания образа уровня знаний возможно
воспользоваться последовательным критерием Вальда. При этом примем
дополнительное принципиальное условие, что задания теста однородны по
количеству образовательной информации по конкретной учебной дисциплине,
поскольку аналитических методов классификации заданий по мере их сложности
или трудности пока не разработано.
Будем обозначать гипотезу о приемлемом уровне знаний H0, а гипотезу о
неприемлемом уровне знаний H1. Пусть в результате последовательного
поступления заданий теста в объеме n получены неправильные ответы d1, d2,
d3…dn. При известной функции оценивания знаний по закону Пуассона
последовательный критерий Вальда позволяет по выборке объемом n
классифицировать обучаемых по уровню знаний на три подобраза по количеству
областей принятия решений. Для того, чтобы иметь четыре образа необходимо
произвести для каждой из трех областей повторное последовательное
тестирование [7].
В предлагаемой процедуре рекомендуется использовать два способа
распознавания образа уровня знаний: нормальный и усиленный. При этом
задаются только четыре исходные характеристики теста q1, q0, a и b.
По нормальному способу по первой выборке заданий теста n1 производится
классификация обучаемых на три предварительные области (уровни): низкая,
нормальная и высокая. По второй выборке заданий теста n2=n1 или n20, в котором с вероятностью Pt находится
истинное значение Stи: Stи?[St-?I;St+?I]. C практической
точки зрения это означает, что при проецировании значения St на шкалу ZI
следует принимать во внимание не только сегмент этой шкалы (Ii,Ii+1], в
который попадает значение St, но и его зонирование с учетом интервала
неопределенности ?I.
При попадании суммы баллов в интервал Ii+?I
SNи, соответствующая истинной оценке знаний, ни при каких условиях не
попадает в зоны неопределенности (Ii±?I) и (Ii+1±?I). В этой ситуации
имеется достаточно оснований для выставления оценки Oi+1 сразу по
завершении первого этапа тестирования, поэтому дальнейшее предъявление
дополнительных или уточняющих вопросов нецелесообразно [28].
Заключение
Начавшееся в нашей стране с начала 80-х годов внедрение в учебных
заведениях новых информационных технологий – обучение при помощи
педагогических программных средств, а также использование тестирующих
программ – дало более чем скромные результаты. Среди многих известных
причин этого (финансовые, технические, организационные, методические
трудности) отметим одну: психологическое неприятие учителями “компьютерных”
методов обучения и контроля знаний, особенно высококвалифицированными,
творчески работающими. У них для этого есть основания: налицо большое
количество плохих программ, не отвечающих главным психолого-педагогическим
принципам обучения, неудачно реализующих основные этапы процесса усвоения
знаний; как правило, отсутствует методическое сопровождение; оказываются
непомерно большими затраты времени и сил на освоение компьютеров, изучение
программы, поддержку соответствующей инфраструктуры; при использовании даже
хороших систем нивелируется роль учителя в учебно-воспитательном процессе,
исчезает творческий характер его труда; отсутствует система поощрения
педагогов-новаторов, осваивающих новые информационные технологии.
Эту ситуацию, на мой взгляд, можно и хочется изменить. Технический
прогресс стремительно продвинулся вперед, современная вычислительная
техника и системы телекоммуникаций достигли огромных результатов за
последние несколько лет в плане быстродействия, объемов обрабатываемой и
хранимой информации. Развитие систем проектирования программ (объектно-
ориентированные системы визуального программирования, СУБД, системы
моделирования нейронных сетей, и т.п.) дало в руки инженеров и системных
аналитиков мощнейшие средства разработки и внедрения в жизнь самых
фантастических проектов. Отсутствие финансирования в области образования в
нашей стране тормозит, как мне кажется, процессы создания качественных
программных продуктов общего применения, смещая акцент в сторону
коммерческих интеллектуальных мультимедийных курсов, создание которых могут
себе позволить только крупные «софтверные» компании.
В данной работе частично были проанализированы существующие методы и
модели, позволяющие построить так называемую интеллектуальную
автоматизированную систему контроля знаний. Практические реализации
собственных теоретических разработок в этой области уже есть: на
сегодняшний день готова демонстрационная версия программы, проводящей
тестирование по методу цепочек вопросов. Этот метод не является
«интеллектуализацией» процесса контроля знаний, а является первым шагом к
созданию системы, позволяющей преподавателю проводить текущий и финальный
контроль более быстро, объективно и эффективно. Реализация методов
адаптивного тестирования, использование нечеткой логики и инженерии знаний
позволит достичь больших результатов в этой области.
Список использованной литературы
1. Касьянова Н. В. «Cоздание системы компьютерного контроля как результат
новых информационных технологий в обучении», Восточноукраинский
Национальный Университет (ВНУ), Украина, г.Луганск // материалы
конференции ИТО-2001;
2. Бренич С.Г. «Проблема искусственного интеллекта. Кибернетика.» //
реферат;
3. Иващенко А.И. «Контроль знаний и умений учащихся по математике в
школе» // дипломная работа;
4. Ваньков Е.А. «Технологии компьютерного тестирования» // реферат;
5. Кузнецов А. А. «Универсальная автоматизированная обучающая система.
Подсистема контроля знаний.» // дипломный проект;
6. Соловей Е.В. «Автоматизированная система контроля знаний «Цепь
знаний». Сетевая версия» // дипломный проект;
7. http://ito.edu.ru/2001/ito/VI/VI-0-28.html;
8. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Информационный подход
к выбору решений в системах адаптивного тестирования». Материалы
конференции «Анализ качества образования и тестирование». 22.03.2001,
Москва, МО РФ, МЭСИ
9. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. «Распознавание образа
обучаемых по уровням их знаний в компьютерном тестировании». Сборник
материалов Интернет-конференции «Проблемы перехода классических
университетов в систему открытого образования». Москва. МЭСИ, 2001
10. http://ito.edu.ru/2001/ito/VI/VI-0-19.html;
11. http://ito.edu.ru/2001/ito/VI/VI-0-27.html;
12. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г.
«Оценивание результатов тестирования на основе экспертно-аналитических
методов». Журнал «Открытое образование», №3, 2001, с.32-36.;
13. http://ito.edu.ru/2001/ito/VI/VI-0-12.html;
14. http://ito.edu.ru/2001/ito/VI/VI-0-1.html;
15. http://ito.edu.ru/2001/ito/VI/VI-0-32.html;
16. http://ito.edu.ru/2001/ito/VI/VI-0-2.html;
17. http://ito.edu.ru/2001/ito/VI/VI-0-17.html;
18. http://www.tl.ru/~gimn13/ped/doclad/shuhard.html;
19. Аванесов B.C. Композиция тестовых заданий. Учебная книга для
преподавателей вузов, учителей школ, аспирантов и студентов пед.вузов.
2 изд., испр.. и доп. М.: Адепт;
20. Границкая А.С. Научить думать и действовать: Адаптивная система
обучения в школе: Кн. для учителя. М.: Просвещение;
21. Казаринов А.С., Култышева А.Ю., Мирошниченко А.А. Технология
адаптивной валидности тестовых заданий: Учебное пособие. Глазов: ГГПИ,
1999;
22. Майоров А.Н. Тесты школьных достижений: конструирование, проведение,
использование. Издание второе - СПб.: Образование и культура, 1997;
23. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в
системе “учитель-ученик”: Методическое пособие для учителя. М.:
Педагогическое общество России, 1999;
24. Челышкова М.Б. Разработка педагогических тестов на основе современных
математических моделей: Уч.пособие. М.: Исследовательский центр
проблем качества подготовки специалистов, 1995;
25. П.Ю. Шалимов, В.И. Попоков «Технология рейтинговых исследований
качества образования с применением нейронных сетей»
26. И.Д. Рудинский, Е.В. Соловей «Автоматизированный контроль знаний по
методике уточняющих вопросов». Сборник материалов конференции, 2001
27. И.Д. Рудинский, Е.В. Соловей «реализация алгоритмов прямого
тестирования в интеллектуальной автоматизированной системе контроля
знаний». Сборник материалов конференции, 2001
28. И.Д. Рудинский «Метод адаптивного автоматизированного контроля
знаний». Сборник материалов конференции, 2001
-----------------------
Получение N неправильных ответов
Превышение предельной длительности теста
5. Условие раннего прекращения
4.4.Выявление имеющихся знаний
4.3.Выявление простейших знаний
4.2.Выявление наиболее важных знаний
4.1.Строгий
4. Уровень
контроля
3.3.Пониженная
3.2.Повышенная
3.1.Стандартная
3. Сложность
теста
2.2.Экзаме-
национное
2.1.Зачетное
2. Вид
тестирования
1.2.Проверка глубины знаний
1.1.Проверка широты знаний
1. Цель тестирования
Свойства алгоритмов
прямого тестирования