Разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ)

Министерство образования и науки Российской Федерации

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ «МИФИ» ФАКУЛЬТЕТ КИБЕРНЕТИКИ И ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ

КАФЕДРА КИБЕРНЕТИКИ

На правах рукописи

УДК 004.891:656.1

Разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ)

Выпускная квалификационная работа специалиста

Направление подготовки 01.05.01 Прикладная математика и информатика

г. Москва

2015

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное учреждение высшего профессионального образования

Национальный исследовательский ядерный университет «МИФИ»

Факультет Кибернетики и информационной

безопасности

Кафедра Кибернетики

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

к дипломной работе на тему:

Разработка алгоритмов и программных средств поддержки

взаимодействия компетентностно-ориентированных моделей в

обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ)

Москва 2015

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Национальный исследовательский ядерный университет «МИФИ»

_____________________________________________________________________________________________

ЗАДАНИЕ НА ДИПЛОМНУЮ РАБОТУ

(выпускную квалификационную работу ВКР)

1. Аналитическая часть

Поиск и анализ литературы по методам построения обучающих интегрированных экспертных систем (ИЭС) и компетентностно-ориентированным подходам с целью разработки алгоритмов взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

Анализ функциональных возможностей средств подсистемы поддержки построения обучающих веб-ИЭС (средства мониторинга процесса функционирования обучающих ИЭС и средства построения модели обучаемого) с целью разработки требований на создание программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

2. Теоретическая часть

2.1. Разработки алгоритмов анализа текущего уровня компетенций обучаемых.

2.2. Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для обучаемого.

2.3. Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для группы обучаемых.

3. Технологическая часть

3.1. Технологии проектирования и реализации Разработка функциональных требований к средствам взаимодействия компетентностно-

ориентированных компонентов в обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ). Разработка программных средств осуществляется на основе требований задачно-ориентированной методологии, технологии построения веб-ИЭС и технологии проектирования новых и модифицированных компонентов для комплекса АТ-ТЕХНОЛОГИЯ.

3.2. Инструментальные средства проектирования и реализации

Использование среды разработки Ruby on Rails, Microsoft Office Visio Professional 2010

для построения блок-схем алгоритмов

4. Практическая часть

Разработка архитектуры подмодуля анализа текущего уровня компетенций обучаемых.
Программная реализация подмодуля анализа текущего уровня компетенций обучаемых:

реализация алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для обучаемого;

реализация алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для группы обучаемых.

Программная реализация алгоритмов анализа текущего уровня компетенций обучаемых. 4.4.Тестирование подмодуля анализа текущего уровня компетенций обучаемых. Оформление документации на разработанные программные средства.

5. Апробация результатов

Сбор и анализ всех статистических данных, полученных в результате серии апробаций, графическая демонстрация результатов.

Подготовка тезисов для 3-ей Международной летней школы по искусственному интеллекту для студентов, магистрантов и аспирантов «Интеллектуальные системы и технологии: современное состояние и перспективы».

Дата выдачи задания «10»марта»2014 г.

Реферат

Объем пояснительной записки — 53 страницы, 29 рисунков, 1 таблица, 2

приложения, 15 источников литературы.

Ключевые слова: типовая проектная процедура, обучающая интегрированная экспертная система, подсистема поддержки построения обучающих веб-ИЭС, задачно-

ориентированная методология, комплекс АТ-ТЕХНОЛОГИЯ, средства мониторинга процессов функционирования, обработка данных.

Цель выпускной квалификационной работы – разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ).

В первом разделе производится анализ функциональных возможностей базовой версии модуля статистической обработки данных, функционирующего в комплексе АТ-

ТЕХНОЛОГИЯ. Также ставятся задачи ВКР.

Во втором разделе производится разработка алгоритмов поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

В третьем разделе описано проектирование и программная реализация алгоритмов поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

Список сокращений

Русскоязычные термины

ЭС	Экспертная система

ИЭС	Интегрированная экспертная система

ЗОМ	Задачно-ориентированная методология

ИС	Инструментальные средства

ЖЦ	Жизненный цикл

БЗ	База знаний

ПрО	Проблемная область

ЯПЗ	Язык представления знаний

ИП	Интеллектуальный планировщик

ТПП	Типовая проектная процедура

ПИК	Повторно используемые компоненты

НИЯУ МИФИ	Национальный исследовательский ядерный университет «МИФИ»

Англоязычные термины

СОМ	COM – Component object model – объектная модель компонентов

XML	eXtensible Markup Language — расширяемый язык разметки

Оглавление

Введение 5

1. Исследование функциональных возможностей подсистемы поддержки

построения обучающих интегрированных экспертных систем (инструментальный

комплекс АТ-ТЕХНОЛОГИЯ) 7

Особенности подсистемы поддержки построения обучающих интегрированных

экспертных систем 7

1.2. Средства мониторинга процессов функционирования обучающих ИЭС 11

1.2.1. Модуль статистической обработки данных 12

1.2.2. Параметры статистической обработки информации 13

1.3. Анализ базовой версии компонента обработки данных 15

Требования на создание алгоритмов и программных средств поддержки

взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС 17

1.5. Цели и задачи выпускной квалификационной работы 18

Теоретические аспекты алгоритмов поддержки взаимодействия компетентностно-

ориентированных моделей в обучающих ИЭС 20

2.1. Постановка задачи 20

Разработка алгоритмов поддержки взаимодействия компетентностно-

ориентированных моделей в обучающих ИЭС 21

Разработка алгоритмов учета степени достижения целевых компетенций по

конкретным курсам/дисциплинам для обучаемого 21

Разработка алгоритмов учета степени достижения целевых компетенций по

конкретным курсам/дисциплинам для группы обучаемых 23

2.2.3. Алгоритм прогноза уровня компетенций обучаемых 25

3. Проектирование и программная реализация алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

3.1. Анализ требований к разрабатываемым программным средствам 27

Архитектура программных средств поддержки взаимодействия

компетентностно-ориентированных моделей в обучающих ИЭС 28

Особенности программной реализации средств поддержки взаимодействия

компетентностно-ориентированных моделей в обучающих ИЭС 29

Физическая модель БД, предназначенная для хранения данных в процессах

функционирования в Обучающих ИЭС 29

3.3.2. Описание работы интеллектуального планировщика 32

3.4. Описание тестирования программных средств 33

Тест-примеры функционирования средств поддержки взаимодействия

компетентностно –ориентированных моделей обучающих ИЭС 35

Тест-пример функционирования подмодуля анализа текущего уровня

компетенций для обучаемого/группы обучаемых 36

Тест-пример функционирования подмодуля анализа и кластеризации

психотипов обучаемых 40

Тест-пример функционирования подмодуля прогноза результатов экзамена

Тест-пример функционирования подмодуля анализа корреляции умений и

знаний обучаемых по конкретным курсам/дисциплинам 49

Заключение 51

Литература 52

Введение

Цель выпускной квалификационной работы – разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС, разработанных с помощью средств комплекса АТ-

ТЕХНОЛОГИЯ.

Веб-версия инструментального комплекса АТ-ТЕХНОЛОГИЯ, разработанного в лаборатории «Интеллектуальные системы и технологии» кафедры Кибернетики МИФИ,

предназначена для автоматизированного построения веб-ориентированных интегрированных экспертных систем (веб-ИЭС) в статических проблемных областях.

Комплекс АТ-ТЕХНОЛОГИЯ реализует задачно-ориентированную методологию компьютерного проектирования интегрированных экспертных систем, созданную профессором Рыбиной Г.В. в середине 90-х годов. Важной особенностью веб-версии комплекса АТ-ТЕХНОЛОГИЯ является наличие специальных программных средств,

позволяющих создавать обучающие веб-ИЭС. Особенностью разработки и использования обучающих ИЭС и веб-ИЭС является то, что обеспечивается автоматизация практически всех процессов, которые возникают в ходе обучения и контроля знаний/умений обучаемых. При этом вся информация об обучаемых, темах курсов/дисциплин,

результатах прохождения обучения, результатах контроля обучаемых, индивидуальных рекомендациях на основании полученных результатов обучения и т.д. находится в единой среде и в любое время доступна обучаемому и/или контролирующему процесс обучения,

что обеспечивается за счет специальных средств мониторинга процесса функционирования обучающих ИЭС. Это удовлетворяет всем требованиям образовательного мониторинга, представляющего собой систему сбора, хранения, анализа и представления информации о состоянии наблюдаемых объектов, явлений, процессов с целью их оценки, контроля или прогноза.

В связи с очередным этапом исследований связанных с интеллектуализацией процессов построения обучающих ИЭС возникает потребность в реализации базовой версии модуля статистической обработки данных в соответствии с требованиями интеллектуального планировщика и ПИК на современной платформе, а также расширении функционала ПИК “Компонент обработки данных.

В рамках настоящей работы был проведен анализ функциональных возможностей базовой версии модуля статистической обработки данных, функционирующего в комплексе АТ-ТЕХНОЛОГИЯ. Также проанализирована базовая версия компонента обработки данных. На основе каждого из анализов, были сформулированы требования на разработку средств поддержки взаимодействия компетентностно-ориентированных

моделей обучающих ИЭС. Было приведено описание алгоритмов статистической

обработки данных, используемых в ПИК “Компонент обработки данных”, разработанных

на основе анализа подходов и методов обработки информации. Было представлено

детальное описание программной реализации средств поддержки взаимодействия

компетентностно-ориентированных моделей обучающих ИЭС, в частности реализация

разработанных алгоритмов, входящих в ПИК “Компонент обработки данных”.

Разработаны тест-примеры с детальным описанием. Разработанные программные средства

успешно прошли тестирование на результатах учебного процесса группы У8-06.

Первый раздел пояснительной записки посвящен анализу функциональных возможностей подсистемы поддержки построения обучающих веб-ИЭС (средства мониторинга процесса функционирования обучающих ИЭС) с целью разработки требований на создание программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС. Поставлены задачи выпускной квалификационной работы.

Во втором разделе приведены блок-схемы и пошаговое описание алгоритмов, а именно: разработаны алгоритмы учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для каждого обучаемого; алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для группы обучаемых.

В третьем разделе проанализированы функциональные требования к средствам

взаимодействия компетентностно-ориентированных компонентов в обучающих ИЭС

(комплекс АТ-ТЕХНОЛОГИЯ). Описаны проектирование и программная реализация

алгоритмов и программных средств поддержки взаимодействия компетентностно-

ориентированных моделей в обучающих ИЭС. Проведены тестирование и апробация

разработанных программных средств.

Исследование функциональных возможностей подсистемы поддержки построения обучающих интегрированных экспертных систем (инструментальный комплекс АТ-ТЕХНОЛОГИЯ)

данном разделе проведен анализ функциональных возможностей средств подсистемы поддержки построения обучающих веб-ИЭС (средства мониторинга процесса функционирования обучающих ИЭС) с целью разработки требований на создание программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

Особенности подсистемы поддержки построения обучающих интегрированных экспертных систем

Инструментальный комплекс АТ-ТЕХНОЛОГИЯ [1], поддерживает задачно-

ориентированную методологию (ЗОМ) [1,5,6] и представляет собой взаимосвязанную совокупность средств автоматизации проектирования интегрированных экспертных систем (ИЭС) на всех этапах жизненного цикла (ЖЦ) с единым управлением проектом по созданию ИЭС в соответствии с поставленными задачами, набором имеющихся программных средств, конкретной моделью ЖЦ создания программного обеспечения ИЭС. В настоящее время средствами комплекса АТ-ТЕХНОЛОГИЯ поддерживаются все этапы ЖЦ, характерные как для разработки традиционных программных систем, так и для разработки ИЭС [1,7,8]. Комплекс АТ-ТЕХНОЛОГИЯ [1,6,7,8] позволяет разрабатывать широкий класс обучающих ИЭС и веб-ИЭС, обладающих развитыми средствами интеллектуального обучения, мониторинга и тестирования обучаемых [1,3,4,8,9].

В соответствии с [1,3,4,9], обучающие ИЭС обладают масштабируемой архитектурой, позволяющей расширять функциональность традиционных ЭС с помощью дополнительных подсистем и компонентов, реализующих, в том числе характерные для интеллектуального обучения средства, а именно: индивидуальное планирование методики изучения учебного курса (конкретизация для каждого студента последовательности тем/разделов курса, индивидуальный контроль и выявление проблемных зон обучаемых,

оптимизация индивидуального обучения); интеллектуальный анализ решений учебных задач (моделирование рассуждений студентов, решающих учебные задачи; выявление типов ошибок, пробелов в знаниях и т.д. вместо их констатации; обратная связь через динамическое обновление знаний обучаемых); интеллектуальная поддержка принятия решений (интеллектуальная помощь на каждом этапе решения учебных задач, подсказка следующего этапа, объяснения типа «как?» и «почему?»).

Важной особенностью разработки и использования обучающих ИЭС и веб-ИЭС является то, что обеспечивается автоматизация практически всех процессов, которые

возникают в ходе обучения и контроля знаний/умений обучаемых. При этом вся информация об обучаемых, темах курсов/дисциплин, результатах прохождения обучения,

результатах контроля обучаемых, индивидуальных рекомендациях на основании полученных результатов обучения и т.д. находится в единой среде и в любое время доступна обучаемому и/или контролирующему процесс обучения, что обеспечивается за счет специальных средств мониторинга процесса функционирования обучающих ИЭС.

Это удовлетворяет всем требованиям образовательного мониторинга,

представляющего собой систему сбора, хранения, анализа и представления информации о состоянии наблюдаемых объектов, явлений, процессов с целью их оценки, контроля или прогноза.

Как следует из [1,6], любой прототип обучающей ИЭС для заданной проблемной области (ПрО) разрабатывается на основе базовых требований ЗОМ и поддерживающего ее инструментального комплекса АТ-ТЕХНОЛОГИЯ, что в совокупности представляет конкретную интеллектуальную технологию проектирования ИЭС данного класса за счет реализации всех нижеперечисленных принципов [3,6]:

Архитектура обучающей веб-ИЭС включает в себя как программный компонент ИЭС, применяющий методологию простых продукционных систем для решения неформализованный задач, так и компоненты Ki, i=1..n, расширяющие функциональные возможности системы до решения определенных задач, как формализованных, так и неформализованных.

Модель архитектуры обучающей веб-ИЭС проектируется на трех уровнях, исходя из

концепции глубинной интеграции, т.е. на основе усовершенствования компонента ЭС путем включения нетрадиционных для него функций, реализуемых компонентом Кi

(например обучающие функции, СУБД и т.д.).

Проектирование и реализация функций традиционной ЭС выполняется на основе ЗОМ [1], базирующейся на автоматизированном моделировании конкретных типов НФ-задач, релевантных технологии традиционных ЭС в статических и динамических ПрО.

Для автоматизированного построения модели ПрО используется комбинированный метод приобретения знаний (КМПЗ), [1,14] представляющий собой интеграцию процессов компьютерного интервьюирования экспертов, обработки проблемно-ориентированных текстов и извлечения знаний из баз данных. Причем для построения модели ПрО используются источники знаний первого рода (преподаватели-предметники), а в качестве источников знаний второго рода могут быть использованы различные методические материалы (учебники, презентации, инструкции, и.т.д.).

Компонент Кi с точки зрения реализации функций обучения, контроля и тестирования обучаемых связаны с реализацией следующих функциональных возможностей [1, 3, 5, 10]:

построение модели обучаемого (М1) с учетом психологического портрета личности и онтологии курса/дисциплины (Мо);

построение адаптивной модели обучения (М2), сущность которой заключается в динамической модификации стратегии обучения в соответствии с текущей моделью обучаемого и последующей генерации совокупности обучающих воздействий, наиболее эффективных на данном этапе обучения с учетом психологических особенностей обучаемых;

контроль деятельности обучаемого и генерация управляющих решений для соответствующей корректировки действий обучаемого с целью достижения им поставленных целей обучения;

построение модели объяснения (М3) для оценки логики принятия решений,

результатов вычислений, объяснение (при необходимости) неправильной альтернативы

или этапа решения задачи.

Для построения модели ПрО используются источники знаний первого типа – эксперты, в данном случае преподаватели-предметники, а в качестве дополнительного источника знаний второго типа могут быть использованы методические материалы в виде учебников, справочников, инструкций и т.д.

В рамках ЗОМ описание модели диалога с пользователем проектируемой ИЭС любого

типа осуществляется на специальном языке описания сценариев диалога (ЯОСД) [1],

вследствие чего функционирование разработанной подсистемы общения (диалогового компонента ИЭС) будет являться результатом интерпретации построенной модели диалога. Поэтому при создании средств интерфейса обучаемого инженер по знаниям в зависимости от требований преподавателя-предметника может описать любую модель диалога на ЯОСД, что избавляет от жесткой привязки к каким-либо стандартным средствам или макетам интерфейса пользователя и позволяет гибко проектировать средства общения любой степени дружелюбности и адаптивности. При реализации подсистемы объяснения, функционирующей на основе модели объяснения,

фактически отслеживается трасса вывода решений, и объяснения предоставляются обучаемому (при необходимости) в режиме консультации. В этом случае соответствующая модель диалога также описывается средствами ЯОСД.

8. Реализация п.1-7 осуществляется на основе базовой версии инструментального

комплекса АТ-ТЕХНОЛОГИЯ, представляющего собой взаимосвязанную

совокупность средств автоматизации проектирования ИЭС на всех ЖЦ с единым управлением проектом по созданию ИЭС в соответствие с поставленными задачами,

набором имеющихся программных средств, конкретной моделью ЖЦ создания программного обеспечения ИЭС. Часть функций комплекса поддерживают авторизацию доступа к системе, регистрацию новых проектов и планирование процессов разработки ИЭС. Другие специфицируют и/или обеспечивают построение архитектуры ИЭС и ее компонентов и этот процесс осуществляется на основе знаний о технологии построения ИЭС и типовых проектных процедур (ТПП). ТПП – это набор элементарных действий, традиционно совершаемых инженером по знаниям на каждом этапе ЖЦ разработки для решения каких-либо проектных задач [1,5,6].

Наиболее сложные функции связаны с этапом проектирования, где возникает реальная потребность в «интеллектуализации» процессов создания ИЭС за счет использования технологической БЗ планировщика и повторно-используемых компонентов (ПИК) предшествующих проектов, что позволяет системе «подсказывать» инженеру по знаниям, какие компоненты могут быть использованы в новом проекте.

Интеллектуальная поддержка [1, 5, 6, 11 – 13] разработки полнофункциональных прототипов ИЭС включает в себя: построение плана разработки прототипа ИЭС на всех этапах ЖЦ на основе знаний о моделях и методах решения типовых задач; динамическое ассистирование инженеру по знаниям (системному аналитику) при построении текущего прототипа ИЭС на основе знаний о ТПП и ПИК; синтез архитектуры прототипа ИЭС и его компонентов на основе расширенной информационно-логической модели; анализ прототипа за счет использования знаний о моделях и методах решения типовых задач; выдача рекомендаций и объяснений инженеру по знаниям. Планировщик «знает», сколько и каких ТПП и ПИКов имеется в комплексе, и для чего они предназначены, а также используемый алгоритм планирования, в соответствии с чем формируется набор задач для разработки любого прототипа ИЭС. Далее, исходя из требований к прототипу, сформированных на этапе анализа системных требований, планировщик декомпозирует план разработки на более мелкие задачи, в том числе посредством ТПП и механизмов взаимодействия с ПИКами комплекса.

Процесс создания любой обучающей веб-ИЭС состоит из следующих основных этапов: формирование Mо, построение M2, формирование M1. Первые два этапа происходят в режиме работы преподавателя (DesignTime), а третий - в режиме работы с обучаемым (RunTime) и работы с преподавателем (DesignTime).

Подсистема поддержки построения обучающих ИЭС, функционирующих в

составе комплекса АТ-ТЕХНОЛОГИЯ, включает средства построения модели

обучаемого; средств построения модели обучения; средства построения онтологии

курса/дисциплины; средства мониторинга процессов функционирования обучающих ИЭС.

Каждое программное средство представляет собой отдельные СОМ-объекты, совместная

работа которых в среде комплекса АТ-ТЕХНОЛОГИЯ осуществляется при использовании механизмов взаимодействия, реализованных в ядре. Отдельные

компоненты подсистемы общаются между собой и с остальными подсистемами комплекса

посредством обмена текстовыми сообщениями на ограниченном подмножестве языка

XML через специальный компонент брокер, расположенный в системных средствах.

Обращение к требуемому программному средству осуществляется посредством активация соответствующей задачи интеллектуального планировщика. В режиме работы с обучаемым все диалоговые формы генерируются с помощью подсистемы поддержки разработки пользовательского интерфейса комплекса АТ-ТЕХНОЛОГИЯ.

Поскольку в центре внимания находятся вопросы, связанные со средствами мониторинга процессов функционирования обучающих ИЭС, то далее будет рассмотрена архитектура средств мониторинга, а также некоторые параметры статистической обработки данных.

1.2. Средства мониторинга процессов функционирования обучающих ИЭС

Как показано в [1,4,6] в целом мониторинг функционирования обучающих ИЭС может рассматриваться с позиций двух аспектов. Первый связан с местом и ролью обучающих ИЭС с точки зрения использования обучающих ИЭС для поддержки типовых стадий обучения: проведение занятий (лекции, семинары, лабораторные работы); проведение контролирующих мероприятий, предусмотренных учебным планом конкретного курса/дисциплины. Второй аспект – это рассмотрение набора функциональных задач, характерных для интеллектуального обучения. Здесь мониторинг функционирования обучающих ИЭС и веб-ИЭС связан с «отслеживанием» и анализом всех процессов построения для каждого студента индивидуальной модели обучаемого по соответствующей дисциплине путем выявления текущего уровня знаний/умений с помощью веб-тестирования, а также формированием психологического портрета личности обучаемого.

Архитектура средств мониторинга процессов функционирования обучающих ИЭС включает два операционных ПИКа: компонент обработки данных и компонент формирования отчетов для преподавателя.

Операционный ПИК “Компонент обработки данных”. Данный компонент

обеспечивает сбор, хранение и анализ данных. В состав данного операционного ПИК

входят модуль анализа данных и модуль статистической обработки данных, находящийся

в центре внимания в данной работе.

Операционный ПИК “Компонент формирования отчетов”. Данный компонент обеспечивает визуальное представление отчетов и сохранение отчетов в виде документов заданного формата.

Архитектура средств мониторинга процессов функционирования обучающих ИЭС представлена на рис.1.

Рис.1. Архитектура средств мониторинга процессов функционирования обучающих веб-ИЭС

Как показано на архитектуре, изображенной на рис.1, средства мониторинга взаимодействуют со средствами построения модели обучаемого и средствами формирования модели обучения, причем модель обучаемого подается на вход, далее происходит обработка данных и принятие решений, после чего формируется или корректируется модель обучения.

1.2.1. Модуль статистической обработки данных

Данная архитектура включает в себя 6 подмодулей: Подмодуль анализа текущего уровня компетенций обучаемых, подмодуль прогноза результатов экзамена, подмодуль анализа “проблемных зон” по конкретным курсам/дисциплинам, подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам, подмодуль анализа эффективности применения индивидуальных планов обучения по конкретным курсам/дисциплинам и подмодуль анализа и кластеризации психотипов обучаемых.

Архитектура модуля представлена на рис 2.

Рис.2. Архитектура модуля статистической обработки данных

Далее рассмотрим подробнее компонент обработки данных, а именно, - параметры статистической обработки информации и модуль статистической обработки данных.

1.2.2. Параметры статистической обработки информации

Параметры аналитической и статистической обработки информации,

характеризуют как индивидуального обучаемого, так и контингент обучаемых, были представлены в [15], которые сформулированы на основе анализа значительного объема данных (около 2000 моделей обучаемых) и ориентированы, прежде всего, на анализ базовых компонентов моделей обучаемых по конкретному курсу/дисциплине (модель знаний обучаемого, модель умений обучаемого, психологический портрет и др.

компоненты) [1].

Ниже приводятся примеры базовых параметров, предназначенных для обработки информации по каждому обучаемому: анализ «проблемных зон» по конкретным курсам/дисциплинам и их кластеризация; эффективность применения индивидуального плана обучения (типология и последовательность обучающих воздействий): влияние обучающих воздействий на повышение уровня знаний, поиск наиболее эффективных обучающих воздействий; расчет корреляции между определенным уровнем умений и уровнем знаний по соответствующим темам курса/дисциплины: взаимосвязь уровня знаний и умений и др.; прогноз оценки на экзамене по результатам успеваемости в

семестре; учет психологического портрета обучаемого; степень достижения целевых компетенций по конкретным курсам/дисциплинам.

Разработан также целый ряд параметров, используемых для обработки информации по всему контингенту обучаемых (группа, поток и др.), а именно:

совокупный анализ «проблемных зон» по конкретным курсам/дисциплинам и их кластеризация; оценка и кластеризация индивидуальных планов обучения по конкретным курсам/дисциплинам; прогноз результатов экзаменационной сессии: связь уровня знаний

(начального и конечного), уровня умений и оценки за экзамен в разрезе курса; анализ и кластеризация психотипов обучаемых.

Рис.3. Параметры аналитической и статистической обработки результатов использования обучающих ИЭС

В данной работе уделяется внимание следующим статистикам:

1) Степень достижение целевых компетенций по конкретным курсам и дисциплинам: определение текущих компетенций обучаемых в зависимости от их уровня знаний и умений.

2) Прогноз уровня компетенций: прогнозирование компетенций обучаемых в будущем на основе статистики по имеющимся компетенциям до текущего момента.

1.3. Анализ базовой версии компонента обработки данных

Текущая версия компонента обработки данных (средства мониторинга процессов

функционирования обучающих ИЭС) взаимодействует со всеми компонентами,

входящими в средства построения модели обучаемого и позволяет обеспечить:

возможность хранения информации обо всех обучаемых в одном месте;

хранение данных об обучаемом и о курсе в единой базе данных с учетом иерархической структуры курса неограниченной вложенности;

расчет различных статистик для обработки информации, используемой в процессах функционирования обучающих веб-ИЭС;

возможность генерации текущих и итоговых отчетов для преподавателя и обучаемого с рассчитанными статистиками;

Текущий компонент обработки данных включает расчет различных статистик для

обработки информации, используемой в процессах функционирования обучающих веб-

ИЭС. В настоящее время компонент осуществляет следующую обработку данных:

оценка динамики знаний, т.е. разница между первичным уровнем знаний и заключительным уровнем знаний.

прогноз оценки на экзамене по результатам успеваемости в семестре: связь уровня знаний (начального и конечного), уровня умений и оценки за экзамен в разрезе студента.

Выбирается курс/поток (К6, К8 или У8), для которого необходимо осуществить прогноз оценки за экзамен. Все обучаемые курса/потока, для которого делается прогноз, разбиваются на группы по следующему принципу: все оценки по очереди вычитаются друг из друга, и после каждой такой операции результатом является “+” или “-“, где “+” означает что студент прогрессирует, а “-“ - что студент снижает свою успеваемость. Для каждой подобной группы вычисляется оценка за экзамен, которая равна среднему арифметическому оценок всех обучаемых, вошедших в конкретную группу; Далее каждому студенту выставляется оценка за экзамен на основе того, в какую группу он вошёл;

анализ «проблемных зон» по конкретным курсам/дисциплинам и их кластеризация:

выделение наиболее проблемных зон (которые вызывают наибольшие затруднения у обучаемых), а также проблемных зон, не вызывающих затруднений у обучаемого и пр.

Выбирается курс, по результатам успеваемости которого темы необходимо разбить на

группы сложности и отследить динамику знаний студентов этого курса.

Осуществляется выборка в массив X всех тем и их оценок. Производится группировка всех тем по их сложности, где Сi – коэффициент сложности вопроса qi;

Происходит группировка тем по следующему принципу:

если балл <= 0.1, то тема записывается в кластер «Очень сложные темы»;

если балл попадает в промежуток (0.11;0.3), то тема записывается в кластер «Сложные темы»;

если балл попадает в промежуток (0.31;0.55), то тема записывается в кластер «Темы, вызывающие затруднения»;

если балл попадает в промежуток (0.56;0.67), то тема записывается в кластер «Почти усваиваемые темы»;

эффективность применения индивидуального плана обучения (типология и последовательность обучающих воздействий): влияние обучающих воздействий на повышение уровня знаний, поиск наиболее эффективных обучающих воздействий

расчет корреляции между определенным уровнем умений и уровнем знаний соответствующих тем: взаимосвязь уровня знаний и умений, определение зависимости одного от другого и пр. Вычисляется коэффициент корреляции Пирсона, после чего строятся точечные диаграммы для каждой пары выборок X и Y. На диаграммах проводятся линии тренда, показывающие на сколько плохо или хорошо прослеживается зависимость данных в выборках X и Y.

Эксперименты показали, что в настоящее время компонентом не осуществляется

следующая обработка данных:

анализ и кластеризации психотипов обучаемых;

Психотип студентов представляется как:

Ph = < (Uph, Nph),Vph, APh> , где

Uph = {Uphi}, i=123- множество вершин графа Uphi [приложение 1], описывающих совокупность личностных характеристик обучаемого.

Nph= {Nphil}, i=123, l=1b- множество вершин графа Nphil, описывающих совокупность значений личностных характеристик.

Vph={Vphj} =<Uphl, Uphm>, j=1с - множество связей между вершинами графа психологического портрета личности, где Uphl - родительская вершина, а Uphm – дочерняя вершина;

APh – алгоритм построения компонентов Ph.

Происходит группировка психотипов по следующему принципу:

если балл попадает в промежуток (4;5), то психотип попадает в кластер «Психотипы с высокой успеваемостью»;

если балл попадает в промежуток (3;3,9), то психотип попадает в кластер «Психотипы со средней успеваемостью»;

Если балл меньше 3 , то психотип попадает в кластер «Психотипы с низкой успеваемостью»

прогноз экзаменационной сессии Выбираются прогнозируемые и реальные оценки за экзамен каждого студента.

Строятся гистограммы в разрезе количества оценок за экзамен.

Исследования показали, что необходимо расширить текущий компонент обработки данных, так как он не обрабатывает данные в полном объеме, а также реализовать его на современной платформе.

1.4. Требования на создание алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

По результатам анализа базовой версии компонента обработки данных и базовых требований к реализации компонентов для осуществления взаимодействия c

интеллектуальным планировщиком, были сформулированы требования к развитию отдельных компонентов средства мониторинга процессов функционирования обучающих веб-ИЭС (ПИК “Компонент обработки данных”).

Разработка новых методик обработки данных, относящихся к компоненту обработки

данных.

Учет степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для обучаемого:

расчет коэффициента корреляции Пирсона между двумя выборками коэффициентов компетенций обучаемых;

построение точечной диаграммы зависимости с проведенной на ней линии тренда.

Учет степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для группы обучаемых:

Расчет коэффициента корреляции Пирсона между двумя выборками коэффициентов компетенций группы обучаемых;

Построение точечной диаграммы зависимости с проведенной на ней линии тренда.

Требования для осуществления взаимодействия с интеллектуальным

планировщиком:

Для упрощения доступа к API планировщику, необходимо подключить PlanningHelper. Требуется необходимость в специальных action-ах. Важно наличие специального action в определенном контроллере компонента (далее главный контроллер) с названием execute. В качестве единственного параметра на вход данному действию поступает идентификатор плановой задачи. В случае, если логика компонента опирается на некоторый другой action, то допускается сделать перенаправление из execute после выполнения всех необходимых манипуляций с объектом задачи.

Завершение задачи. Завершение текущей задачи (связанной с компонентом) можно производить в любом месте. Для этого необходимо:

записать в результат выполнения задачи изменение состояния;

выполнить commit_task для текущей сессии планировщика;

выполнить перенаправления на основную страницу (как правило, это путь “/”).

Допускается сделать специальный action с названием commit, который будет делать вышеописанные действия.

Добавление знаний об использовании данных ПИК в рамках общего процесса. Компонент должен иметь некоторое кодовое имя, которое используется интеллектуальным планировщиком (имена уже зарезервированы и добавлены). Для

каждого кода необходимо добавить информацию об имени главного контроллера,

чтобы планировщик мог совершать перенаправление при вызове соответствующего

компонента.

Требования к разработке подмодулей в составе модуля статистической обработки данных (ПИК “Компонент обработки данных”).

Подмодуль прогноза результатов экзамена должен выполняться в соответствии с алгоритмом прогноза оценки за экзамен и алгоритмом прогноза экзаменационной сессии.

Подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам должен выполняться в соответствии с алгоритмом определения степени корреляции уровня умений и уровня знаний обучаемых.

Подмодуль анализа и кластеризации психотипов обучаемых должен выполняться в соответствии с алгоритмом анализа и кластеризации психотипов обучаемых;

Цели и задачи выпускной квалификационной работы

Целью работы является разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

(комплекс АТ-ТЕХНОЛОГИЯ).

Для реализации данной цели необходимо решить задачи, указанные ниже:

Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для обучаемого.

Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам и прогноза уровня компетенций для группы обучаемых.

Проектирование и программная реализация вышеописанных алгоритмов в рамках подмодуля анализа текущего уровня компетенций обучаемых

Модификация компонента обработки данных в соответствии с требованиями, предъявляемыми к ПИК интеллектуальной программной среды комплекса АТ-ТЕХНОЛОГИЯ

Программная реализация базовой версии модуля статистической обработки данных в соответствии с требованиями интеллектуального планировщика и ПИК на современной платформе

Разработка тест-примеров функционала подмодуля анализа текущего уровня компетенций обучаемых и реализованной базовой версии модуля статистической обработки данных, сбор и анализ всех статистических данных, полученных в результате серии апробаций на примере группы У8-06.

Теоретические аспекты алгоритмов поддержки взаимодействия

компетентностно-ориентированных моделей в обучающих ИЭС

2.1. Постановка задачи

Из п.1.1.2 следует, что архитектура средств мониторинга процессов функционирования обучающих ИЭС содержит два операционных ПИКа: компонент обработки данных и компонент формирования отчетов для преподавателя. Т.к. ПИК “Компонент обработки данных” находится в центре внимания настоящей работы, то рассмотрим более детально модель данного ПИКа.

Модель операционного ПИК «Компонент обработки данных» представляется следующей пятеркой вида:

DataProcessing = <N, Arg, F, PINT, FN>, где

N – имя компонента, под которым он зарегистрирован в комплексе – «Компонент обработки данных»;

Arg = {Argi}, i=1 – множество аргументов, содержащих поддеревья базы данных текущего проекта, служащие входными параметрами для выполнения функций из множества.

средства построения модели обучаемого.

F=<Fs, Fa> – множество методов (интерфейсов ПИК) данного компонента на уровне реализации.

Fs=<Fcomp, Fprog, Fprobarea, Fcor, Fstudyplan, Fph – модуль статистической обработки данных, где:

Fcomp – подмодуль анализа текущего уровня компетенций обучаемых;
Fprog – подмодуль прогноза результатов экзамена;
Fprobarea – подмодуль анализа “проблемных зон” по конкретным курсам/дисциплинам;

Fcor – подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам;
Fstudyplan – подмодуль анализа эффективности применения индивидуальных планов обучения по конкретным курсам/дисциплинам;
Fph – подмодуль анализа и кластеризации психотипов обучаемых.

Fa={Fi}, где i=1,…n – модуль анализа данных.

PINT = {PINTi}, i=1, 2, 3 – множество наименований интерфейсов других ПИК, используемых методами данного ПИК:

PINT1 – операционный ПИК “Компонент формирования отчетов для преподавателя”;

PINT2 – средства формирования модели обучения;
PINT3 – средства построения модели обучаемого.

FN={FNi}, i=1..v – множество наименований функций, выполняемых данным ПИК.

Ниже представлены функции, выполняемые данным ПИК:

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для обучаемого;

прогноз уровня компетенций для обучаемого;

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для группы обучаемых;

прогноз уровня компетенций для группы обучаемых;

прогноз оценки за экзамен для обучаемых и ее хранение;

прогноз экзаменационной сессии;

определения степени корреляции уровня умений и уровня знаний обучаемых;

анализ и кластеризация психотипов обучаемых;

анализ «проблемных зон» по конкретным курсам/дисциплинам и их кластеризация;

эффективность применения индивидуального плана обучения(типология и последовательность обучающих воздействий).

Исследования показали, что необходимо расширить функционал текущего компонента обработки данных, так как он не соответствует заявленному функционалу ПИК «Компонент обработки данных», а также реализовать его на современной платформе.

Разработка алгоритмов поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

Ниже представлены разработанные алгоритмы с пошаговым описанием и блок-

схемами.

Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам для обучаемого

Рассмотрим постановку задачи в целом.

Дано:

Выборка X – результаты 1-го (среднесеместровый контроль) тестирования, т.е. итоговые оценки i-й компетенции для каждого обучаемого: Ki = (Pi*(Pi))/100%, где Pj = (Si*Wij)/(Wij) (Si – оценка за i-ю тему, Wij – весовой коэффициент, связывающий i-ю тему и j-ю компетенцию).

Выборка Y – результаты 2-го (конец семестра) тестирования, т.е. итоговые оценки i-й компетенции для каждого обучаемого: Ki = (Pi*(Pi))/100%, где Pj =

(Si*Wij)/(Wij) (Si – оценка за i-ю тему, Wij – весовой коэффициент, связывающий i-ю тему и j-ю компетенцию).

Требуется:

Произвести анализ гипотезы о том, что уровень знаний в середине и конце семестра имеют линейную зависимость. Выдвинуто предположение, что данные X и Y

распределены по нормальному закону. Блок схема алгоритма изображена на рис.4.

Начало

Выполнить SQL-запрос на

выборку результатов

компетенций обучаемых 1-ого

и 2-ого тестирования

Занести результаты

выполнения запроса в

два массива Х и У

Последняя

строка нет массива Х

достигнута

да

Вычислить средние значения

х и у элементов каждого

массива

Вычислить хi-x и yi-y (где хi и

yi – значения i-ых элементов

массивов Х и У)

Вычислить значение

(хi-x)(yi-y)

Вычислить значение

(хi-x)2(yi-y)2

Переход к
следующим
элементам	нет

Вычислить
(хi-x)(yi-y)	да

Имя i-ого обучаемого из массива Х содержится в массиве У

нет
Удалить	да

обучаемого из
выборки

Переход к следующему

обучаемому (i = i + 1)

Конечные
элементы	Построить точечную
массивов
	диаграмму и провести
достигнуты
	линии регрессии

Вычислить

(хi-x)2(yi-y)2

Вычислить
2	(yi-y)	2	Завершение
rt = (хi-x)(yi-y)/ (хi-x)			работы

Рис.4 Блок-схема алгоритма учета степени достижения целевых компетенций по	22
конкретным курсам/дисциплинам для обучаемого

Алгоритм:

Шаг 1:Осуществляется выборка данных в массивы X и Y, причём данные структурируются по каждому студенту.

Шаг 2: Вычисляется коэффициент корреляции Пирсона, после чего строятся точечные диаграммы для каждой пары выборок X и Y. На диаграммах проводятся линии тренда,

показывающие, на сколько плохо или хорошо прослеживается зависимость данных в выборках X и Y.

Шаг 3: Делается вывод о степени достижения целевых компетенций каждым обучаемым.

Разработка алгоритмов учета степени достижения целевых компетенций по конкретным курсам/дисциплинам для группы обучаемых

Рассмотрим постановку задачи в целом.

Дано:

Выборка X – результаты 1-го (среднесеместровый контроль) тестирования, т.е. итоговые оценки i-й компетенции для группы обучаемых: Ki = (Pi*(Pi))/100%, где Pj = (Si*Wij)/(Wij) (Si – оценка за i-ю тему, Wij – весовой коэффициент, связывающий i-ю тему и j-ю компетенцию).

Выборка Y – результаты 2-го (конец семестра) тестирования, т.е. итоговые оценки i-

й компетенции для группы обучаемых: Ki = (Pi*(Pi))/100%, где Pj = (Si*Wij)/(Wij) (Si – оценка за i-ю тему, Wij – весовой коэффициент, связывающий i-ю тему и j-ю компетенцию).

Требуется:

распределены по нормальному закону. Блок схема алгоритма изображена на рис.5.

Алгоритм:

Шаг 1:Осуществляется выборка данных в массивы X и Y, причём данные суммируются и усредняются так, что в обоих выборках остается по одному параметру

(группа обучаемых). с набор данных.

показывающие, на сколько плохо или хорошо прослеживается зависимость данных в выборках X и Y.

Шаг 3: Делается вывод о степени достижения целевых компетенций группой

обучаемых.

Начало	Выполнить SQL-запрос на
	выборку результатов

	компетенций обучаемых 1-ого
	и 2-ого тестирования

Занести результаты

выполнения запроса в

два массива Х и У

Последняя	нет

строка
массива Х
достигнута

да	Объединить элементы в
	каждом из массивов Х и У
		Имя i-ого
		обучаемого
Вычислить средние значения	из массива Х
	содержится в
х и у элементов каждого
	массиве У
массива

Вычислить хi-x и yi-y (где хi и
yi – значения i-ых элементов	нет

массивов Х и У)	да

		Удалить
		обучаемого из
Вычислить значение	выборки

(хi-x)(yi-y)

Вычислить значение

(хi-x)2(yi-y)2

Переход к		Конечные
следующим	нет
		элементы
элементам
		массивов

		достигнуты
Вычислить		да
(хi-x)(yi-y)

Вычислить	Вычислить
(хi-x)2(yi-y)2	rt = (хi-x)(yi-y)/ (хi-x)2(yi-y)2

Переход к следующему

обучаемому (i = i + 1)

Построить точечную

диаграмму и провести

линии регрессии

Завершение

работы

Рис.5 Алгоритм учета степени достижения целевых компетенций по конкретным

курсам/дисциплинам для группы обучаемых

2.2.3. Алгоритм прогноза уровня компетенций обучаемых

Рассмотрим постановку задачи в целом.

Дано:

Текущий уровень компетенций обучаемых, выявленный в ходе обучающих

воздействий

Требуется:

Спрогнозировать ожидаемый уровень компетенций обучаемых в будущем.

Прогноз уровня компетенций обучаемых происходит в несколько этапов, в

соответствии с алгоритмом, который подробно описан далее. Блок-схема приведена на

рис.6.

Рис.6. Блок-схема алгоритма прогноза уровня компетенций обучаемых

Шаг 1: Выбирается курс (К6, К8 или У8), которому необходимо осуществить прогноз уровня компетенций.

Шаг 2: Осуществляется выборка всех Summ_result_compi по курсу, которому необходимо сделать прогноз, результат записывается в класс.

Шаг 3: Все обучаемые, входящие в курс, которому делается прогноз, разбиваются на группы по следующему принципу. Имеется 5 групп:

Summ_result_compi = [0; 20]% – 1 группа,

Summ_result_compi = [20; 40]% – 2 группа,

Summ_result_compi = [40; 60]% – 3 группа,

Summ_result_compi = [60; 90]% – 4 группа,

Summ_result_compi = [90; 100]% – 5 группа.

Соответственно, далее происходит сортировка по группам в зависимости от значения Summ_result_compi. Все результаты сохраняются в другой класс.

Шаг 4: Для каждой получившейся группы вычисляется своя Summ_result_compi, i = 1, . . .

, 5, которая равна среднему арифметическому Summ_result_compi всех обучаемых,

вошедших в конкретную группу.

Шаг 5: Далее каждому студенту присваивается уровень компетенций, на основе того, в какую группу он вошёл и какая Summ_result_compi была вычислена данной группе в шаге

Далее рассмотрим вопросы, связанные с проектированием и программной реализацией алгоритмов и программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС.

Анализ требований к разрабатываемым программным средствам

Все разрабатываемые подмодули модуля статистической обработки удовлетворяют

следующим требованиям:

система должна работать в связке «клиент-сервер-база данных»;

весь процесс отображения строится в окне браузера;

для хранения данных должна использоваться СУБД Sqlite Browser 3.6.0+;

пользователями системы должны являться инженеры по знаниям;

все данные хранятся в единой БД.

Далее рассмотрим каждый подмодуль отдельно:

Подмодуль анализа текущих компетенций обучаемых:

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для обучаемого;

прогноз уровня компетенций для обучаемого и его хранение;

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для группы обучаемых;

прогноз уровня компетенций для группы обучаемых и его хранение.

Подмодуль прогноза результатов экзамена:

прогноз оценки за экзамен для обучаемых и ее хранение;

прогноз экзаменационной сессии.

Подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам:

определения степени корреляции уровня умений и уровня знаний обучаемых.

Подмодуль анализа и кластеризации психотипов обучаемых:

анализ и кластеризация психотипов обучаемых.

Требования к архитектуре взаимодействия интеллектуального планировщика с ПИК.
Диаграмма взаимодействия компонентов ИП, ПИК и пользователя приводится на рис.7.
PDDL (или	Интеллектуальн	Начало сессии	Пользователь
другой)	ый планировщик

планировщик
/решатель
	Инициация выполнения задачи
	Передача	ПИК	Двусторонне
	управления		взаимодействие
Перестроение	Завершение		Двусторонне
плана	задачи		взаимодействие
Текущий
план
Рис.7 Диаграмма взаимодействия компонентов ИП, ПИК и пользователя

Интеллектуальный планировщик может быть опционально использован для планирования и управления процессами построения прототипов обучающих ИЭС.

Таким образом, процесс зациклен до того, пока построенный план не станет пустым, что равносильно отсутствию текущих задач.

В рамках MVC архитектуры и текущей реализации, место ИП можно отразить на схеме (рис.8).

Модели	Контроллер	Представления

PlanningSession

PlanningTask1

...

PlanningTaskN

Создание и завершение

PlanningController		PlanningView	User

		Действия

	PIK1Controller		execute
Главные
			commit
контроллеры

конкретных	...
ПИКов

PIKNController

Рис.8 Структура взаимодействия ИП

PlanningController является главным контроллером, который способен передавать управления конкретным компонентам. Отсюда можно выделить следующие требования к реализации конкретных ПИКов.

3.2. Архитектура программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

Реализуемые программные средства входят в состав подсистемы поддержки

построения обучающих веб-ИЭС.

Архитектура программных средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС на рис.9. Данная архитектура включает модуль статистической обработки данных, состоящий из 6 подмодулей: подмодуль анализа текущего уровня компетенций обучаемых, подмодуль прогноза результатов экзамена, подмодуль анализа “проблемных зон” по конкретным курсам/дисциплинам, подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам, подмодуль анализа эффективности применения индивидуальных планов обучения по конкретным курсам/дисциплинам, подмодуль анализа и кластеризации психотипов обучаемых.

Рис.9. Архитектура модуля статистической обработки данных

3.3. Особенности программной реализации средств поддержки взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС

В данном разделе представлено описание каждого программного средства взаимодействия компетентностно-ориентированных моделей в обучающих ИЭС,

функционирующих в составе компонента обработки данных (средства мониторинга процессов функционирования обучающих ИЭС), также представлено описание БД.

Физическая модель БД, предназначенная для хранения данных в процессах функционирования в Обучающих ИЭС

Физическая модель БД, осуществляющая хранение данных в процессах функционирования обучающих веб-ИЭС с учетом иерархической структуры курса любой вложенности представлена на рис. 10,11.

Рис.10 физическая модель БД (1)

Рис.11 физическая модель БД (2)

Таблицы Group, Student, User хранят данные об обучаемом (id, Ф.И.О., номер группы). В Group хранятся идентификатор, номер группы. В Student хранятся фамилия обучаемого и связь с таблицей Group. В таблице User хранятся данные для аутентификации в системе: логин, пароль, а также связь с таблицей Student.

Также обеспечивается хранение информации, связанной с текущим уровнем знаний и умений обучаемого, психологическим портретом обучаемого, данными о курсах с иерархической структурой любой вложенности, а так же данными о компетенциях.

Таблицы KaTest, KaVariant, KaTopic, KaQuestion, KaAnswer, KaResult, KaAnswerLog, ProblemArea, CompetenceCoverage, TopicCompetence, Competence хранят данные,

необходимые для функционирования компонента выявления знаний. KaTopic хранит конкретные темы раздела/подраздела конкретной дисциплины. KaVariant, KaQuestion, KaAnswer обеспечивают хранение информации о вариантах специальных веб-тестов,

генерация которых осуществляется с помощью генетических алгоритмов. В KaVariant

хранится вариант теста, в KaQuestion - тексты вопросов для конкретного варианта и их сложность, определяемая преподавателем, в KaAnswer – правильные альтернативы к конкретному вопросу. Таблицы TopicCompetence, Competence содержат список

компетенций, соответствующих некоторым структурам курса/дисциплин и весовые коэффициенты компетенции. KaResult, KaAnswerLog, ProblemArea, CompetenceCoverage

содержат информацию об оценке за тестирование, текущей уровень компетенции обучаемого, выявленные «проблемные зоны» обучаемого, а также лог тестирования.

Таблицы Result, VResult, GResult, SResult, Log, Bnf, Task, VAnswer, GAnswer, SAnswer обеспечивают хранение информации необходимой для функционирования компонента выявления умений обучаемого строить компоненты лингвистической модели подъязыка деловой прозы. Result, VResult, GResult, SResult хранят выполненные обучаемым варианты заданий соответственно по компонентам V, G, S лингвистической модели подъязыка деловой прозы. Таблицы Task, VAnswer,GAnswer, SAnswer содержат задания и сформированные образцы компонентов лингвистических моделей подъязыков деловой прозы. Таблица Bnf содержит выделенные из текста предикативные группы,

именные группы, союзы, наречия и т.д. необходимые для описания компонента G.

Функционирование компонента выявления умений обучаемых моделировать простейшие ситуации ПрО с помощью семантических сетей обеспечивают таблицы

Semanticnetwork и Etalon. Etalon хранит эталонный образец семантических сетей,

Semanticnetwork – результаты работы обучаемого с компонентом: выполненный вариант задания, сведения о времени окончания работы над заданием, допущенные ошибки,

полученную оценку.

Таблицы Etalonframe, Framedb, Framemistakes служат для хранения данных в процессе функционирования компонента выявления уровня умений обучаемых моделировать простейшие ситуации ПрО с помощью фреймов. Аналогично компоненту выявления умений обучаемых моделировать простейшие ситуации ПрО с помощью семантических сетей таблица Etalonframe хранит эталонный образец фреймов, таблицы

Framedb, Framemistakes - результаты работы обучаемого с компонентом.

Для обеспечения функционирования компонента выявления личностных характеристик обучаемых служат следующие таблицы: PersonalityTest,

PersonalityTestType, PersonalityTestQuestion, PersonalityTestQuestionType ,

PersonalityTestQuestionPicture, PersonalityTestAnswer, PersonalityTestAnswerPicture,

PersonalityTestAnswerWeight, PersonalityTrait, PersonalityTraitInterval , Personality.

PersonalityTest – обеспечивает хранение психологических тестов, PersonalityTestType – типы психологических тестов, PersonalityTestQuestion – вопросы психологических тестов, PersonalityTestQuestionType – типы вопросов психологических тестов,

PersonalityTestQuestionPicture – вопросы тестов в виде изображений,

PersonalityTestAnswer – варианты ответов на вопросы психологических тестов,

PersonalityTestAnswerPicture – варианты ответов на вопросы психологических тестов в виде изображений, PersonalityTestAnswerWeight – веса вариантов ответов на вопросы психологических тестов, PersonalityTrait, PersonalityTraitInterval – характеристики,

определяемые тестами, Personality – значения характеристик.

3.3.2. Описание работы интеллектуального планировщика

На Рис. 12 представлен фрагмент работы интеллектуального планировщика.

Рис. 12 Фрагмент работы интеллектуального планировщика

После нажатия кнопки [Приступить] происходит переход пользователя в раздел Статистическая обработка данных. Далее пользователю доступно выполнить следующую обработку данных:

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для обучаемого;

учет степени достижения целевых компетенций по конкретным курсам/дисциплинам для группы обучаемых;

прогноз оценки за экзамен для обучаемых;

прогноз экзаменационной сессии.

определения степени корреляции уровня умений и уровня знаний обучаемых.

После выполнения вышеописанных задач происходит изменение состояния планировщика. Пример представлен на Рис. 13.

Рис. 13 Состояние планировщика после выполнения обработки данных

3.4. Описание тестирования программных средств

При формировании методики и модели тестирования за основу был взят стандарт

ISO/IEC 9126 «Информационная технология. Оценка программного продукта.

Характеристики качества и руководство по их применению». В настоящей работе была принята следующая трехуровневая система тестирования:

Компонентное тестирование
- Объект тестирования: отдельно взятый компонент;

Ответственный исполнитель: разработчик компонента или стороннее лицо (существенно влияет на методику тестирования);

Включает: тестируется отдельно взятый компонент, так же модульное тестирование может, на усмотрение разработчика, разбиваться на отдельные

этапы изолированного тестирования классов и методов, реализуемых в проверяемом компоненте;

Входные данные: тестируемый компонент, функциональные требования на разработку/модификацию компонента, базовые требования, описание

объектной структуры компонента, описание интерфейсов компонента.

Результат: отчет о компонентном тестировании, включающий данные о найденных ошибках, сценарии их воспроизводства и несоответствиях работы

компонента функциональным и базовым требованиям.

Интеграционное тестирование
- Объект тестирования: совокупность взаимодействующих компонентов.

Ответственный исполнитель: куратор разработчиков или один из разработчиков.

Включает: используется метод «черного ящика» или/и сценарийное тестирование; проверяется, есть ли какие-либо проблемы в интерфейсах и

взаимодействии между интегрируемыми компонентами – например, не передается информация, передаётся некорректная информация.

Входные данные: тестируемые компоненты и компоненты, необходимые для функционирования тестируемых, функциональные требования на

разработку/модификацию компонентов, базовые требования, описание интерфейсов компонентов.

Результат: отчет об интеграционном тестировании, включающий данные о найденных ошибках, сценарии их воспроизводства, несоответствия

функциональным и базовым требованиям.

Системное тестирование (включает два этапа: имитация реальной работы и апробация)
- Объект тестирования: интегрированная система.

Ответственный исполнитель: руководитель проекта, куратор разработчиков.

Входные данные: интегрированная система, объединенные системные требования, базовые требования (под системными требованиями понимается

логически связанное множество функциональных требований к компонентам системы).

Результат: отчет о системном тестировании, включающий данные о найденных ошибках, сценарии их воспроизводства, несоответствия системным

и базовым требованиям.

соответствии с принятой методикой и моделью тестирования после программной реализации средств поддержки взаимодействия компетентностно-ориентированнных моделей обучающих веб-ИЭС было проведено компонентное тестирование.

Описание процесса и результатов тестирования

Тестирование производилось методом «белого ящика», который предполагает составление программы тестирования на основании практически полного знания о тестируемом программном средстве. В ходе тестирования проверялось соответствие выдвигаемым к программным средствам требованиям. Выводы о наличии ошибок

делались на основании анализа исходных текстов программы и настроек конфигурации.

Затем эти выводы проверялись на практике.

процессе тестирования была проверена работа БД, а также компонентов обработки данных.

ходе проверки ПИК “Компонент обработки данных” проверялась работа запросов к БД, обеспечивающих добавление данных, удаление, редактирование данных и получение, а так же проверка работы программного кода, отвечающего за статистическую обработку данных.

результате тестирования обнаруженные ошибки были проверены практически и исправлены.

Тест-примеры функционирования средств поддержки взаимодействия компетентностно –ориентированных моделей обучающих ИЭС

Рассмотрим ниже примеры функционирования разработанных программных средств поддержки взаимодействия компетентностно-ориентированнных моделей обучающих веб-ИЭС (ПИК “Компонент обработки данных”), в которые входят 6 подмодулей: подмодуль анализа текущего уровня компетенций обучаемых, подмодуль прогноза результатов экзамена, подмодуль анализа “проблемных зон” по конкретным курсам/дисциплинам, подмодуль анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам, подмодуль анализа эффективности применения индивидуальных планов обучения по конкретным курсам/дисциплинам, подмодуль анализа и кластеризации психотипов обучаемых. Ниже будут отдельно рассмотрены тест-примеры для каждого подмодуля.

Обработка статистических данных обучаемых проводилась на основе результатов группы У8-06.

		Таблица.1

№	ФИО обучаемого		Группа

1	Алборов Тамерлан		У8-06

2	Александров		У8-06
	Григорий

3	Алтын Юрий		У8-06

4	Базлов Алексей		У8-06

5	Баранов Максим		У8-06

6	Башкатов Роман		У8-06

7	Бочаров Филипп		У8-06

8	Васильев Никита	У8-06

9	Верещак Михаил	У8-06

10	Гавриленко Юрий	У8-06

11	Голушко Илья	У8-06

12	Гребенюк Максим	У8-06

13	Гречанов Роман	У8-06

14	Егоров Андрей	У8-06

15	Кадерова Алина	У8-06

16	Кузнецов Кирилл	У8-06

17	Кузьмин Даниил	У8-06

18	Кульчицкая Валерия	У8-06

19	Мощевитин Лев	У8-06

20	Орбелян Давид	У8-06

21	Осипьян Асмик	У8-06

22	Руднеченко Евгений	У8-06

23	Струков Артем	У8-06

24	Федоров Денис	У8-06

25	Филаткин Егор	У8-06

26	Филатов Антон	У8-06

27	Харламов Иван	У8-06

28	Жигунов Роман	У8-06

Тест-пример функционирования подмодуля анализа текущего уровня компетенций для обучаемого/группы обучаемых

соответствии с алгоритмом, описанным в п.2.2.1 приводятся две выборки Х и У с итоговыми оценками i-й компетенции для каждого обучаемого (Рис. 14, 15).

Рис. 14 Выборка Х

Рис. 15 Выборка Y

Далее приведем фрагмент результата работы данного подмодуля в виде определенного коэффициента корреляции, а также точечной диаграммы с проведенной на ней линией тренда (Рис 16).

Рис. 16 Точечная диаграмма

В соответствии с рассчитанным значением коэффициента корреляции можно сделать выв выборками Х и У очень сильная. Также, если один показатель (переменная) увеличивается, то соот показатель (переменная). Такая зависимость носит название прямо пропорциональной зависимости.

целевых компетенций обучаемыми в конце семестра сильно зависит от степень достижения целевых к семестра.

Тест-пример функционирования подмодуля анализа и кластеризации психотипов обучаемых

Ниже выборка студентов заданного курса (У8-06) с соответствующими психотипами и оценками за экзамен (Рис. 17).

Рис. 17 психотипы и оценки студентов

Затем происходит группировка психотипов в зависимости от оценки за экзамен по следующему принципу:

Если балл попадает в промежуток (4;5), то психотип попадает в кластер «Психотипы с высокой успеваемостью»

Если балл попадает в промежуток (3;3,9), то психотип попадает в кластер «Психотипы со средней успеваемостью»

Если балл меньше 3 , то психотип попадает в кластер «Психотипы с низкой успеваемостью»

Рис. 17 группировка психотипов

Отсортированная таблица показана на рис.18.


Психотипы с высокой	Психотипы со средней	Психотипы с низкой
успеваемостью	успеваемостью		успеваемостью


Название	оценка			оценка		оценка
	за	Название психотипа		за	Название психотипа	за
психотипа
	экзамен			экзамен		экзамен


Очень					Высокая
медленный	5,000	Высокая пластичность		3,000	эмоциональная	2,500
темп реакций					уравновешенность

Высокая	5,000	Активность выше		3,000	Быстрый темп реакций	2,750
активность		среднего



Средняя		Активность ниже			Высокая
эмоциональная	5,000			3,000		2,000
		среднего			интровертированность
возбудимость


		Высокая искренность		3.333	Высокая	2,333
					экстравертированность



					Высокая
		Высокая ригидность		3,000	эмоциональная	2,500
					возбудимость

		Очень быстрый темп		3.333	Медленный темп	2,333
		реакций			реакций



		Средняя активность		3,000	Низкая искренность	2,000

Средняя		Низкий уровень
	3,400		2,666
интровертированность		активности



Средняя пластичность	3,000	Средний темп реакций	2,500


Средняя ригидность	3,500	Средняя	2,666
		экстравертированность



Средняя ригидность-		Средняя
	3,000	экстравертированность-	2,666
пластичность
		интровертированность


аудиальная		Средняя
		эмоциональная
репрезентативная	3,000		2,333
		возбудимость и
система
		уравновешенность


думающий,		кинестетическая
анализирующий,	3,000	репрезентативная	2,833
компьютерный тип		система

Рис. 17 таблица с психотипами обучаемых

3.5.3. Тест-пример функционирования подмодуля прогноза результатов экзамена

Данный подмодуль реализует несколько алгоритмов: алгоритм прогноза оценки за экзамен и алгоритм прогноза экзаменационной сессии. Ниже рассмотрим каждый их них.

Алгоритм прогноза оценки за экзамен

Приводится список студентов с их оценками в течение семестра (рис.18).

Рис. 17 оценки обучаемых в течение семестра

Далее обучаемые делятся по группам в зависимости от их средней арифметической оценки (Рис

Рис. 18 разделение обучаемых по группам

Результат работы подмодуля показан ниже (рис.19, 20, 21, 22).

Средний столбец отражает понижение уровня знаний и прогрессирование обучаемого (красный и зелен на протяжении всех пройденных тестирований. В третьем столбце приведена прогнозируемая оценка за

Рис. 19 разделение обучаемых по группам

Рис. 20 разделение обучаемых по группам

Рис. 21 разделение обучаемых по группам

Рис. 22 разделение обучаемых по группам

Прогноз экзаменационной сессии

На рис.23 приведена таблица с прогнозируемой оценкой за экзамен и фактической оценкой за экзамен.

Рис. 23 фактическая и прогнозируемая оценки за экзамен

На рис. 24 рассчитано среднее значение средне квадратического отклонения.

Рис. 24 среднее значение средне квадратического отклонения

В результате построена гистограма (рис.25), на которой показано кол-во прогнозируемых оценок (светлый фон) и фактических (темный фон). Также алгоритм прогнозирует верную оценку, примерно в 88% случаях.

Рис. 25 гистограма оценок

Тест-пример функционирования подмодуля анализа корреляции умений и знаний обучаемых по конкретным курсам/дисциплинам

На рисунках 26, 27, 28 приведены выборки результатов обучаемых за 1-ое и 2-ое тестирования, а также – за прямой и обратный выводы.

Рис. 26 результаты за 1 и 2 тестирование

Рис. 27 результаты прямого вывода

Рис. 28 результаты обратного вывода

На рис.29 приведен пример выявления степени корреляции между уровнем знаний и уровнем знаний и уровня умений была произведена у студентов У8-06, в выборку попало примерно 28 студ точечная диаграмма, с проведенными на ней линиями тренда (рис.29).

Рис. 29 точечная диаграмма

Также найдены коэффициенты корреляции Пирсона обоих зависимостей. Можно сделать выв

прямо пропорциональную зависимость, а выборка Test/Backward – обратно пропорциональную зависи

зависимости оценок за тестирование и прямого вывода, красные треугольники относятся к зависимости

вывода. В результате зависимость прослеживается слабая зависимость.

Заключение

Целью данной выпускной квалификационной работы являлась разработка алгоритмов и программных средств поддержки взаимодействия компетентностно-

ориентированных моделей в обучающих ИЭС (комплекс АТ-ТЕХНОЛОГИЯ).

Было приведено описание алгоритмов статистической обработки данных,

используемых в ПИК “Компонент обработки данных”, разработанных на основе анализа подходов и методов обработки информации. Было представлено детальное описание программной реализации средств поддержки взаимодействия компетентностно-

ориентированных моделей обучающих ИЭС, в частности реализация разработанных алгоритмов, входящих в ПИК “Компонент обработки данных”. Разработаны тест-примеры с детальным описанием.

Разработанные программные средства успешно прошли тестирование на результатах учебного процесса группы У8-06.

Литература

Рыбина Г.В. Теория и технология построения интегрированных экспертных систем. – М.: Издательство «Научтехлитиздат», 2008. – 482с.

Рыбина Г.В. Основы построения интеллектуальных систем. Учебное пособие. – М.: Финансы и статистика; ИНФРА-М, 2010. – 432 с.

Рыбина Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы // Искусственный интеллект и принятие решений. 2008. №1. С.22-46.

Рыбина Г.В. Современные подходы к реализации интеллектуального компьютерного обучения на основе разработки и использования обучающих интегрированных экспертных систем // Приборы и Системы. Управление, контроль, диагностика. 2010.

№5. С 10-15.

Рыбина Г.В. Концептуальные основы задачно-ориентированной методологии построения интегрированных экспертных систем // Приборы и системы. Управление, контроль, диагностика. 2011. №5. с. 33-51

Рыбина Г.В. Технология построения интегрированных экспертных систем на основе задачно-ориентированной методологии // Приборы и системы. Управление, контроль, диагностика. 2011. №6. с. 28-42

Рыбина Г.В. Интегрированные экспертные системы // Приборы и системы. Управление, контроль, диагностика. 2011. №4. с. 22-47.

Рыбина Г.В. Современные интеллектуальные системы: проблемы интеграции и особенности технологии создания программного обеспечения // Приборы и системы. Управление, контроль, диагностика. 2011. №3. с. 12-34.

Рыбина Г.В. О разработке и использовании обучающих интегрированных экспертных систем для вузовского обучения и подготовки персонала на промышленных предприятиях // XIV Научно-практическая конференция «Реижиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями. (РБП-СУЗ-2011). Материалы конференций. М.: МЭСИ, 2011. с. 247-250.

Рыбина Г.В. Теоретические основы задачно-ориентированной методологии построения интегрированных экспертных систем. // Приборы и системы. Управление, контроль, диагностика. 2011. №7. с. 27-42.

Рыбина Г.В. Интеллектуальные системы: от А до Я. Серия монографий в 3 книгах: Книга 2: Интеллектуальные диалоговые системы. Динамические интеллектуальные системы. - М.: Научтехлитиздат, 2015. - 160 c.

Интеллектуальные системы: от А до Я. Серия монографий в 3 книгах: Кн.3: Проблемно-специализированные интеллектуальные системы. Инструментальные средства построения интеллектуальных систем. - М.: Научтехлитиздат, 2015. - 180 c.

Рыбина Г.В. Интеллектуальные системы: от А до Я. Серия монографий в 3 кн.: Кн. 1: Системы основанные на знаниях. Интегрированные экспертные системы. - М.: Научтехлитиздат, 2014. - 224 c.

Рыбина Г.В. Комбинированный метод приобретения знаний для построения баз знаний интегрированных экспертных систем. // Приборы и системы. Управление, контроль, диагностика. 2011. №8. с. 19-41.

Рыбина Г.В., Блохин Ю.М., Сергиенко Е.С. Мониторинг процессов функционирования обучающих интегрированных экспертных систем: некоторые аспекты // Труды Международной научно-методической конференции «Информатизация инженерного образования» ИНФОРИНО-2014. – М.: МЭИ, 2014. С.135-136.