Управление качеством в открытом и дистанционном обучении |
Бернадетт Робинсон Контекст: В этой статье автор описывает методы управления качеством в учебном заведении. Она также приводит подробное обсуждение гарантии качества — подхода к управлению качеством, который фокусируется на управленческих процессах. Источник: Robinson, Bernadette. 1995. «The Management of Quality in Open and Distance Learning.» In Indira Gandhi National Open University, Structure and Management of Open Learning Systems.Proceedings of the Eighth Annual Conference of the Asian Association of Open Universities, New Delhi, February 20-22, 1995. Vol. 1, pp. 95-109. Копирайт: Воспроизводится с разрешения. Введение Качество открытого дистанционного обучения (ОДО) различается, как и при любой другой форме образования. Его качество (как бы вы его ни определяли) может быть результатом целого набора большого разнообразия факторов, как внутренних, так и внешних по отношению к организации ОДО, например, таких, как уровень мастерства персонала, объем доступных ресурсов, слабое или сильное руководство, эффективность административной системы учреждения или коммуникационная инфраструктура в стране. Аспект, привлекающий все большее внимание, — это как учреждения ОДО, какой бы ни была их структура, ситуация или обстоятельства, контролируют свое собственное качество. Все учреждения, обеспечивающие ОДО, должны обязательно иметь некоторые системы и процедуры для обеспечения качества того, что они делают. Большая их часть касается достижения максимально высокого качества, на которое они способны — по крайней мере, до порога стандартного обеспечения, но предпочтительно превысить его. Но не все они адресованы систематическому контролю качества внутри их организаций настолько, насколько должны были бы. Некоторых постоянных нарушений качества можно избежать. Процедуры для гарантии качества могут быть узко целенаправленными, частичными, несистематическими, слишком неопределенными, и нормы практики могут быть излишне непоследовательными и непостоянными. В некоторых случаях все институтские требования к качеству не в силах противостоять реалиям, наблюдаемым или испытываемым теми, кто находится внутри или вне его (ученики, преподаватели, разработчики курсов, курьеры, спонсоры, профессиональные организации и разработчики политического курса). Итак, как может учебное заведение, обеспечивающее ОДО, эффективно управлять собственным качеством? Как оно может улучшить качество предлагаемого им ОДО? Это большие и трудные вопросы. В этой статье не дается простых ответов на них, но делаются попытки исследовать некоторые аспекты управления качеством в общем и гарантии качества в частности. Как можно контролировать качество Принятие «качества» как организующего принципа для институтов и систем ОДО, по-видимому, предполагает значительный потенциал для мобилизации людей и ресурсов. Оно позволяет структурировано и систематизировано собрать воедино на институтском уровне различные политические и процедурные нити, имеющие отношение к управлению качеством, в рамках единой структуры. Оно дает направляющую, важность («качество»), которой мало кто решится оспорить. Насколько легко этот принцип переносится на практику? Как его достичь? Определение качества в контексте института Для начала, скажем, что представления о качестве в ОДО различны. Оно означает различные вещи для различных участников (координаторы курса, студенты, медиа-продюсеры, местные преподаватели) и также является результатом их различных концепций качества: Это не разный взгляд на одно и то же, а разные взгляды на разные вещи с одним ярлыком (Harvey and Green, 1993, p.10). Качество не есть понятие, свободное от оценочных суждений. Это социальное и политическое создание, не предопределенный статичный организм, и, следовательно, открыто для последующего пересмотра и ре-интерпретации. Необходимы широкие развернутые дебаты для развития общего разговора и языка в качестве предшественника принятия специфических подходов, через них также высветятся конфликтные идеологии. Достигнутые определения должны связать приемлемые обобщения с более неудобными, конкретными интерпретациями качества. Так, любой институтский план должен отвечать разным разумным воззрениям на систему, также как и на формирование ясной отчетливой стратегии действия — непростая задача. Однако, как явствует из других областей деятельности (Juran 1989), если в организации намереваются достигнуть постоянных и значительных улучшений в качестве, то необходимо действовать в рамках всей организации на стратегическом уровне. Аспекты качества ’Качество’ в ОДО наиболее часто оценивают языком учебных материалов, вне зависимости от остальных условий среды. Это ось, вокруг которой вращается все учебное предприятие. Однако, курс — это не только материалы, это еще и совокупность опыта ученика. Поскольку целью провайдера ОДО является создание условий для обучения, его успех зависит от того, насколько хорошо функционируют подсистемы разработки курса, его доставки и поддержки, и насколько хорошо все они функционально интегрированы. Блестящие материалы окажутся бесполезными, будучи не доставленными студентам; убогие материалы не имеют ценности, даже доставленные вовремя. Подкрепляющими создание продуктов и обеспечение услуг являются процессы и операции, невидимые до тех пор, пока они не перестают действовать. Им уделяется меньше внимания, чем они заслуживают, и они являются ключевой областью внимания в улучшении качества в ОДО. Структура контроля качества в ОДО должна, таким образом, аккумулировать все аспекты этого, например:
Подходы к качеству Подходы к управлению качеством в ОДО отражают таковые, разработанные для бизнеса и промышленности, например, контроль качества(Guri, 1987), гарантия качества(Freeman, 1991; Lewis, 1989) и общее управление качеством(McIlroy and Walker, 1993). Все они направлены на управление предприятием с целью достижения определенного стандарта исполнения действий, касается ли это согласования представлений о качестве в смысле спецификаций, соответствия установленным целям или услуги для сотрудников как внутренних клиентов или студентов как внешних. Такие применения не всегда легко использовать в сфере образования, и им нередко противится академический персонал, пришедший из другой культуры, но они часто могут предложить полезные стратегии и новые идеи улучшения качества (как показано в материалах недавней конференции по качеству в ОДО., напр., Atkinson and others, 1991; and Tait, 1993). При перенесении этих подходов следует проявлять осторожность в двух отношениях: во-первых, не применять их некритично, и во-вторых, найти приемлемый баланс между их утилитарностью и их потенциалом к сокращению. В управлении качеством в образовании все больше используется подход гарантии качества. Это набор действий или процедур, предпринимаемых организацией для обеспечения гарантии в том, что для продукта или услуги стандарты специфицированы и последовательно достигаются. Его целью является создание надежных систем путем предвидения проблем и разработки процедур для избежания как можно большего количества ошибок и просчетов. Управление качеством действует, наоборот, ретроспективно, выявляя или отбрасывая дефектные продукты, не соответствующие данному стандарту. Контроль качества и гарантия качества, наряду с оценкой систем качества (т. е. их мониторинг, оценка и аудит) частично перекрываются. Все они играют роль в более целостных подходах к управлению качеством, таких как общее управление качеством (Oakland, 1989). В то время как гарантия качества фокусируется на процедурах, другие подходы концентрируются на «человеческом» аспекте управления качеством. Например, «Инвестиции в человека» -инициатива, одобренная Открытым Университетом Великобритании, видит участие в разработке политики и принятии решений, а также повышение квалификации персонала для каждого человека на всех уровнях как главный путь поддержания и улучшения институционного качества. Оба подхода могут содействовать управлению качеством внутри одного и того же института. От принципа к практике. Принятие подходов к управлению качеством не может начаться и закончиться процедурным «как это сделать». Опасным искушением для института является слишком быстрый прыжок к процедурной стадии прежде, чем адекватно взяться за проблемы контекста и значимости, особенно, когда это касается университета. Необходимой отправной точкой является открытая проверка того, как качество укладывается в общую стратегию образовательного учреждения на сегодняшний день, поскольку будут задействованы институционные, социальные и политические факторы. Это может значительно повлиять на политику и планы повышения качества в любой из вышеназванных областей. Совместное определение проблем является настолько же важным, как и совместное решение. Также должно быть открыто признано, что некоторые стойкие проблемы на самом деле вызваны не студентами (удобный объект для обвинений), а самим институтом. Критическое обсуждение очень существенно, если в результате хотят получить больше, чем механистические итоги, и является в свою очередь движущей силой для изменения и улучшения(Barnett, 1992). Без него изменения, необходимые для поддержания текущих действий, вряд ли произойдут. Оно также помогает не ослаблять внимание к образовательным целям. Ключевыми вопросами являются:
По крайней мере, этот вид обсуждения повышает осведомленность о проблемах качества в организации и улучшает общение и понимание работы других людей. Оно может также привести к развитию более систематического подхода к управлению качеством, такого как гарантия качества. Как это может гарантировать качество в дистанционном образовании в ОДО? Гарантия качества Гарантия качества — это подход к управлению качеством, который фокусируется на процессах управления. Он направлен на применение к ним установленных процедур для достижения определенных стандартов. Целью гарантии качества является обеспечение координации служб и продуктов, надежности в их доставке и качестве (снижение вариабельности и непредсказуемости). Он нацелен на то, чтобы сделать процессы и процедуры прзрачными для использующих их людей (уменьшить неуверенность персонала), и как следствие этого избежать ошибок. Он может способствовать трем вещам, определенным Дэниелом (Daniel, 1992, p.75) в качестве существенных для управления дистанционным образованием: связь, координация и внимательное отношение к деталям. Он не гарантирует ценности или достоинство продукта или услуги (для достижения этого нужны другие виды действий и суждений), только взаимопонимание и надежность процессов, которые их производят (часто недопонимаемый вопрос). Некоторые существующие виды практической деятельности в ОДО могут быть описаны как гарантия качества, даже не называясь так, например использование внешних экспертов для разработки курса, переписывание и рецензирование материалов курса. Следовательно, изначальная задача развития системы гарантии качества — это отображать и следить за процедурами гарантии качества в конкретных условиях. Однако, чтобы быть не только механистическими, процедуры должны быть связаны с целями и задачами по их применению и с их ролью в достижении образовательных целей организации, руководитель которой сможет позволить ученикам учиться. Процедуры гарантии качества необходимо развивать таким образом, чтобы оставлять возможности для индивидуальной инициативы и профессиональной деятельности, стараясь достичь базовой линии в согласовании стандартов практической деятельности. Гарантия качества фокусируется на операционных процессах и системах следующим образом:
Это кажется простым, но может оказаться удивительно сложным для воплощения, не в последнюю очередь из-за того, что явно простая проблема в ОДО может быть сложной для разрешения (как показывают (Mills and Ross, 1993), описывая причины позднего возврата проверенных работ в Университете Атабаска). Оно может также повлечь за собой большой сдвиг в организационной культуре. Однако это не аргумент для того, чтобы отказаться от использования процедур гарантии качества. Их ценность лучше всего демонстрируют примеры их отсутствия Ошибки, которых можно избежать Следующий (реальный) пример иллюстрирует один из видов неудач в ОДО: Студентка написала 112 писем в учреждение дистанционного образования, постоянно пытаясь получить материалы курса, на котором она зарегистрировалась и за который заплатила. Безрезультатно. В конце концов, она их получила уже после того, как начался курс, и она проехала более 100 миль в головное учреждение с родителями и с личным заявлением (Robinson. 1994, p. 185). Когда я просила участников семинаров по ОДО высказаться о причинах этого упущения, несколько человек начали винить студентку, перечисляя ее неверные действия, вместо того, чтобы обратить внимание на институтские факторы. Если вы стоите на позиции студента и смотрите на проблему его глазами, то у вас другая перспектива — стартовая точка, которую следует использовать более часто для анализа проблем и разработки процедур для коррекции недостатков. Ключевой проблемой в управлении качеством является клиент-центрированная служба: это требует, чтобы учреждение, его субсистемы и персонал при разработке процедур и услуг ставили студента на первое место, а не на последнее В этом случае, хотя учебные материалы и были хорошо оформлены, упущение в системе их своевременной или с небольшим опозданием (чтобы быстро исправить ошибку по их недоставке) доставки не дало студентке возможности получить их, когда они были нужны, и как было обещано. Вскрытие причины ошибки выявило плохую систему регистрации, отсутствие оговоренного времени (стандарт) доставки материалов после получения регистрационной информации, отсутствие процедур контроля и письменных инструкций, неясное обозначение ответственности за выполнение конкретных действий и более всего нехватка материалов для рассылки. Возвращаясь немного назад, корень проблемы лежит в опоздании с выпуском материалов, вызванном поздней их передачей авторами, неудачно составленное координатором курса расписание и бессистемные контрактные взаимоотношения с печатниками. Каждый отдел или секция обвиняли друг друга. Этот пример иллюстрирует неспособность института управлять и регулировать его внутренние процессы достаточно хорошо для достижения его целей, т. е. для создания условий для обучения студентов. Провал в одном операционном процессе послужил толчком, разрушившим качество всего процесса. Проблема усложняется, когда процесс крупномасштабный и влияет на сотни студентов, как было в этом случае. Улучшение процедур гарантии качества поможет избежать некоторых из вышеперечисленных проблем. Конечно, они не обращены к другому жизненно важному ингредиенту управления качеством, «человеческому фактору»: т. е. роль сотрудников в процессе, их обязанности, ответственность, уровень профессиональных навыков, обеспечение развития и обучения персонала и ресурсы для этого (последнее может служить лакмусовой бумажкой для институтских обязанностей по улучшению качества и является важной составляющей программы «Инициатива Инвестирование в Людей»). Процедуры важны для управления качеством, но самих по себе их недостаточно. Их необходимо совмещать с подходом, который фокусируется на персонале. Процессы управления Если более тщательный контроль за процессами может помочь управлению качеством, как его осуществить? Два пути кажутся особенно продуктивными. Во-первых, процессы необходимо обозначить, чтобы их понять, контролировать, оценивать и управлять. Обозначение сделает их ясными, всем понятными и может идентифицировать проблемы по разделению труда, его последовательности и узким местам. Оно также может служить движущей силой для связи между отделами. Процедуры могут касаться одной функции, обычно выполняемой одним менеджером, или нескольких (кросс-функциональные), связанные с работой нескольких отделов или менеджеров (таких, как координатор курса, редактор, радио-продюсер и другие). Во-вторых, поскольку кросс-функциональные процедуры являются ахиллесовой пятой ОДО (источник ошибок, задержек и конфликтов), они представляют собой важную цель для улучшения качества. Одна стратегия — создать для работы по ним команды (из различных отделов) и поставить перед ними конкретные задачи и сроки. Команды такого рода могут быть более эффективными, чем комитеты или рабочие группы (некоторые подтверждения этого дают (Mills and Paul, 1993), описывая опыт инициатив по управлению качеством в Университете Атобоска в Канаде и (Mcllroy, 1991), который описывает использование «целевых групп» для решения проблем в Университете Массей в Новой Зеландии). Одной их причин успеха данного подхода, продемонстрированного также в других организационных сферах (Juran, 1989), является размещение собственника кросс-функционального процесса с его участниками и руководителем вместо того, чтобы распылять ответственность по нескольким отделам, каждый из которых готов обвинить другого за что-то неправильно сделанное. Такой командный подход к улучшению качества необходимо внедрять во всем учреждении, чтобы добиться систематического улучшения. Он мог бы использоваться гораздо шире, чем это делается. Стартовыми точками являются идентификация постоянных проблем, либо учениками, либо группами внутри института, Критерии для выбора проекта необходимо определить заранее и для начала выбрать надо те проекты, которые наиболее реальны, значительны, имеют ценные результаты и решают хроническую проблему (Nouwens and Robinson, 1991), чтобы вызвать доверие и обеспечить видимые результаты. Примеры из других областей (Juran, 1989) показывают, что хорошо работает команда по проекту из 7 человек, обеспечивая возможность для каждого отдела проведения целого ряда действий, взглядов и представлений. С точки зрения масштаба времени для достижения улучшений в качестве на уровне Института, то, основываясь на опыте из области организационных исследований, можно сказать, что требуемое время часто недооценивается, приводя к неисполняемым ожиданиям. Чтобы достичь значительного улучшения качества требуется минимум 3-5 лет, в то время как при тщательном отборе проектов некоторый прогресс может быть виден уже через год. Структура для гарантии качества Хотя качество неуклонно улучшается, проект за проектом, учреждению, если оно хочет иметь влияние, необходима единая институтская структура для управления качеством. Как она должна выглядеть? В следующем перечне делается попытка очертить области, которые должны быть охвачены системой гарантии качества. Он отражает практический опыт из области высшего образования и обучения в Великобритании, из областей, отличных от образования и из моей собственной работы в качестве редактора Европейского руководства по качеству в ОДО Сатурн (SATURN, 1991, Robinson, 1992). Он намеренно сделан более целенаправленным, чем исчерпывающим, и нуждается в адаптации при применении в различных областях.
Есть стратегия для мониторинга затрат по внедрению и поддержанию действий по гарантии качества? Там учтены человеческие и финансовые затраты? Затраты больше прибыли? Есть механизм проверки? (Robinson, 1994, pp. 187-188) Как видно, стандарты играют важную роль во введении гарантий качества в практику. Чтобы они стали приемлемыми и реалистическими, их необходимо разрабатывать в «сотрудничестве и согласии при общем одобрении заинтересованных сторон» (Dale and Oakland, 1992, p. 20). Стандарты могут также помочь определить различные уровни качества как результат продуманной стратегии, не случайный и не неудачный. Совершенство — не всегда подходящая цель: например, для некоторых видов учебных центров может быть установлен минимум стандартов; необходима спецификация радиовещания или нестрогие стандарты для видеопродукции, стандарт на материалы категории «достаточно хороший» для одной какой-то цели, но «высшее качество» для другой — другими словами, выбор соответствующего качества для каждой конкретной области и цели. Одной из трудностей внедрения стандартов является то, что они могут быть восприняты (а иногда и использованы) как угроза профессиональным взглядам и как способ скорее контроля, чем помощи персоналу. Участие в их разработке и критическом обсуждении — вот путь, при котором персонал влияет и формирует систему. Внедрение гарантии качества: некоторые рекомендации Одно дело создать институтскую структуру для гарантии качества, и другое — заставить персонал принять ее, даже если они участвовали в ее создании. Как помочь этому процессу? Улучшение качества — существенная стратегия, способствующая переменам и адресованная причинам сопротивления переменам (аспект, которым обычно пренебрегают при внедрении инициатив по управлению качеством). Следовательно, уместными будут стратегии, предлагаемые в литературе и в исследованиях по управлению переменами. Внедрение также должно учитывать специфические области и культуры, а также соображения по поводу того, кем будут осуществляться перемены. Детальные схемы для гарантии качества, по-видимому, сложно переносить из одной области в другую, хотя они могут преследовать одни и те же цели. Следующая инструкция, предложенная Барнеттом (и дополненная для целей ОДО) была разработана для высшего образования в Великобритании и отражает один из путей гарантии качества в Институте.
Роль информации в управлении качеством Какой бы подход к управлению качеством ни был принят, всем организациям, чтобы эффективно управлять, нужна информация. Иногда удивительно обнаружить, что организации не знают о себе, своих собственных действиях, основных видах деятельности, практических шагах, свершениях и проблемах. Это главное препятствие в становлении организации, тот, кто постоянно изучает себя, свои сильные и слабые стороны, тот принимает соответствующие меры и действия (Argyris and Schön, 1978). Четыре вида информации и признаков могут помочь в управлении качеством: информация из основных функциональных зон (например, плановый отдел, бухгалтерия, отдел регистрации студентов, диспетчерская), которую часто называют управляющей информацией; данные по мониторингу, оценке и исследованию. Эти четыре категории могут перекрываться, например, Калдер (Calder (1994) описывает как регистрация студентов может быть использована для целей оценки и исследования и даже приспособлена для облегчения выполнения этих видов деятельности. То, что Институты дистанционного образования предпринимают для оценки и исследований (как показано Schuлmer, 1991) и как они используют свои находки в управлении качеством очень разнообразно. Трудность состоит в гарантировании, что данные и открытия связаны с процессом принятия решений и развитием системы. Эта проблема касается большинства институтов, по определению Редди в отношении университетов дистанционного образования в Азии и Тихоокеанском регионе в 1986: Системы мониторинга и оценки обычно неадекватны как структурно, так и функционально. Из-за этого соответствующая оценка системы и последующее регулирование представляют большую трудность. Более важные контроль и надзор становятся очень сложными, что в свою очередь влияет на развитие системы (Reddy, 1986, p.264). Однако без анализа и оценки, когда студенты далеко, легко убедить себя в том, что вещи отличаются от того, какие они на самом деле… Исследование может поставить факты на места в этих заблуждениях… Исследование не может гарантировать, что люди примут наилучшую политику, но оно может внести немного реализма в их мышление (Mitton,1982, p.239). Гарантия качества требует, чтобы учреждение было способно продемонстрировать знания и документацию о своих собственных практических действиях, но и оно само также нуждается в информации для собственного функционирования. Заключение В этой статье предлагается понятие «качество» как организующий принцип для систем ОДО и пути, по которым это может быть внедрено в институтскую практику. Она завершается вопросом и памяткой. Вопрос Управленческие структуры и методы нормально приемлемые в одном контексте, могут быть чуждыми где-то в другом. Подходы к управлению качеством должны быть контекст-специфическими, хотя различные учреждения должны стремиться к общим целям (например, своевременная доставка высококачественных материалов, обеспечение обратной связи со студентами по поводу их домашних заданий, доступные для студентов поддержка и консультации, помощь студентам в освоении материала). Однако средства достижения целей могут быть разными. Модель гарантии качества, описанная в этой статье, возникла на основе особого контекста и культуры, отражая один набор ценностей и качеств, такие как демократическое участие, относительно короткая дистанция (Hofstede, 1980 ) между персоналом внутри института и между персоналом и студентами, хорошая осведомленность рабочей группы и желание поделиться знаниями и информацией ( не утаивая ее как форму силы и контроля). Вопрос, который хотелось задать, такой: насколько далеко подходы к гарантии качества могут быть перенесены из одних условий в другие. Как изменится подход к гарантии качества при функционировании в другой стране и культуре? Памятка Гарантия качества может помочь улучшить качество функционирования провайдера ОДО, что является очень сложной задачей. Однако, необходимо также помнить и понимать ее пределы. Вы можете использовать гарантию качества для улучшения процесса производства учебных материалов. То, что вы производите, может быть низкого качества, например, мало соответствующие плану учебные мероприятия или стратегии оценивания, требующие минимального уровня мышления и поверхностных знаний. Несмотря на то, что внимание к процессам и методам управления (суть этой статьи) безусловно важно для гарантии качества в ОДО, персоналу также необходимо отчетливое видение составляющих высококачественного обучения, условий, ему благоприятствующих и методов его оценки. Каковы бы ни были наши намерения, говорить студентам о том, что все предпринимаемые нами усилия, это всего лишь механизм для получения степени, цинично; они пройдут через испытания и получат свои дипломы. (Biggs, 1989, p.28). Если это конечный продукт гарантии качества, то он бесцелен и бесполезен. Ссылки Atkinson, R., McBeath, C. and Meacham, D. (eds), 1991, Quality in Distance Education, ASPESA Forum Papers, ASPESA, Australia. Argyris, C. and Schon, D., 1978, Organizational Learning: A Theory of Action Perspective, Reading, Mass., Addison Wesley. Barnett, R., 1992, Improving Higher Education: Total Quality Care. Buckinghamshire, Society for Research into Higher Education and Open University Press. Biggs, J. B., 1989, ’Does learning about learning help teachers with teaching? Psychology and the tertiary teacher’, inaugural lecture, 8 December 1988, Supplement to the Gazette, University of Hong Kong, XXXVI(l), 20 March 1989. Calder, J., 1994, Programme Evaluation and Quality, London, Kogan Page. Dale, B. G. and Oakland, J. S., 1991, Quality Improvement Through Standards Cheltenham, Stanley Thornes Publishers. Daniel, J. S., 1992, ’The management of distance education’, Report of the 1992. EDEN Conference, Krakow, Poland, EDEN Secretariat, Milton Keynes, pp. 72-75. Freeman, R., 1991, ’Quality assurance in learning materials production’, Open Learning, 6 (3), pp. 24-31. Guri, S. 1987, ’Quality control in distance learning’, Open Learning, 2 (2), pp. 16-21. Harvey, L. and Green, D., 1993, ’Defining quality’, Assessment and Evaluation in Higher Education, 78 (1), pp. 9-34. Hofstede, G., 1980, Culture’s Consequences: International Differences in Work-related Values, London, Sage. Juran, J. M., 1989, Juran on Leadership for Quality, New York, The Free Press. Lewis, R. 1989, ’What is «quality» in corporate open learning and how do we measure it?’ Open Learning, November, 4 (3), pp. 9-13. McIlroy, A., 1991, ’Enhancing the quality of management learning and teaching in the distance mode’, in Atkinson, R., McBeath, C. and Meacham, D. (eds), 1991, Quality in Distance Education, ASPESA Forum Papers, ASPESA, Australia. McIlroy, A. and Walker, R., 1993, ’Total quality management: Some implications for the management of distance education’, Distance Education, 14 (1), pp. 40-54. Mills, R. and Paul, R., 1993, ’Putting the student first: management of quality in distance education’, in T. Evans and D. Nation (eds), Reforminig Open and Distance Education, London: Kogan Page, pp. 113-129. Mitton, R., 1982, Practical Research in Distance Education: A handbook for developing countries, Cambridge, International Extension College. Nouwens, F. and Robinson, P., 1991, ’Evaluation and the development of quality materials’, Australian Journal of Educational Tecnology, 7 (2), pp. 99-116. Reddy, G. R., 1986, ’Planning, management and monitoring of distance education’, Distance Education in Asia and the Pacific, Vol. 1, Proceedings of the Regional Seminar on Distance Education, Asian Development Bank, Manila, 1986. Robinson, B., 1992, ’Applying, quality standards in open and distance learning’, Paper presented at Quality, Standards and Research in European Distance Education Conference, University of Umeå, Sweden, March 5-6. Organised by EADTU (European Association of Distance Teaching Universities) and SADE (Swedish Association of Distance Education). Robinson, B., 1994, ’Assuring quality in open and distance learning’, in F. Lockwood (ed), Materials Production in Open and Distance Learning. London: Paul Chapman Publishing, Ltd. Rumble, G., 198l, ’Organization and decision-making’, in Kaye, A. and Rumble, Distance Teaching for Higher and Adult Education, London: Croom Helm. SATURN, 1991, Quality Guide for Open and Distance Learning, Pilot Version, Amsterdam, SATURN. Schuëmer, R. (ed), 1991, Evaluation Concepts and Practice in Selected Distance Education Institutions, Hagen, ZIFF. Tait, A. (ed), 1993, Quality Assurance in Open and Distance Learning: European and international perspectives, Conference Papers, Cambridge: Open University. |