Тестирование в современном высшем образовании

Современные требования к оцениванию результатов обучения

Показывать лекцию целиком

2.1. История становления оценочно-контрольных систем образования

В образовательной практике динамично менялись формы, средства контроля и оценок, приоритеты и процедуры оценивания, интенсивность контроля, акценты интерпретации результатов этих мероприятий.

Можно вести отсчет теоретическим представлениям о контроле с конца 18-го века, когда появились первые оценки репродуктивно-репрезентативных знаний обучаемых, когда за воспроизведение по педагогическому образцу выставлялась оценка. В последующие годы контроль рассматривается в целях "принуждения к обучению", а оценивание – в воспитательных лишь целях.

В 19-ом веке усиливается уже внимание к самому обучаемому, актуализируется проблема справедливости оценивания. В России того времени для отсева малоспособных на начальной стадии обучения предлагались испытания, проверка их способностей к самостоятельной работе, внимательности, самоанализ ошибок, затруднений.

В начале 20-го века активизируются гуманистические принципы. По отношению к обучаемому акцентируются настойчивость, динамичность освоения, индивидуальные психологические характеристики, подготовленность, семейные условия, социально-экономическая среда.

Пример. Согласно предписаниям свыше, учитель, утрачивая свои контролирующие функции, становился советчиком и старшим товарищем обучаемого. Наркомпрос в 1918-ом году свел к нулю роль контроля в системе образования, отменил баллы, экзамены и индивидуальные проверки обучаемых. Это привело к снижению качества знаний, ухудшению дисциплины на занятиях, мотивации учеников.

В начале 20-го века (20-ые годы) наметилось смягчение официальной позиции по образовательному контролю: допускаются проверки знаний (письменно, собеседования), вводятся зачеты и тесты.

Пример. С 1926-го года Особая Коллегия Наркомпроса разрешает учителям делать оценочные словесные суждения, вводятся дневники учащихся, рефераты, отчеты, дискуссии, тесты, зачеты, контрольные работы.

В период 30-50-ые годы 20-го века внедряется административный стиль руководства в образовании на основе идей авторитарности, принуждения к обучению. Это, кроме противодействия учащихся, приводило к формализму, безответственному отношению к результатам обучения.

Период 60-90-ые годы 20-го века – период обсуждения балльной системы в школе и критики отметок из-за их формального характера, необъективности баллов, "процентомании" руководства. Причиной виделось не отсутствие релевантных средств контроля, а неоднозначность целей обучения и требований к усвоению знаний. Предлагаются различные способы совершенствования контроля, в основном, пригодные лишь для проверки элементарных учебных процедур и этапов.

В 60-ых годах 20-го века популяризуется программированный контроль. В программированном обучении применяют оригинальные приемы проверки результатов обучения и их коррекции. Но только для простых видов учебной деятельности. В конце 80-ых годов 20-го века такой вид контроля сошел "на нет", особенно, по мере появления в нашей стране персональных компьютеров.

В начале 21-го века вводится эксперимент "Единый государственный экзамен" в пилотном режиме. Он вызвал в обществе и научно-педагогической среде острые дискуссии на десяток лет, отголоски которых заметны и сейчас.

Пример. ЕГЭ, как средство повышения качества образования, ставит задачи: облегчение поступления в ВУЗ, психологическая разгрузка выпускников, объективизация и стандартизация требований к подготовке абитуриентов. Преимущества ЕГЭ (перед иными формами контроля) – достоверность, надежность, объективность результатов.

Разрабатываются и применяются массово педагогические тесты, процедуры и средства компьютерного контроля, самоконтроля.

Настоящее время – время интенсивного внимания и применения интернет-обучения, интернет-тестирования, интернет-мониторинга. Развиваются распределенные и облачные средства обучения и контроля, адаптивные системы, адаптивный подход (методики, технологии адаптации, учета комплекса индивидуальных потребностей обучающегося).

Но развитию адаптивного обучения мешает то, что адаптивные системы разрабатывают специалисты с техническим образованием, оторванные от педагогов, методистов, когнитологов, тестологов. Поэтому часто реализуется методология адаптации распространенных технических систем, человеко-машинных систем. Практические исследования сводились к подключению некоторой техники адаптации автором-разработчиком. Он должен реализовать "жесткий" механизм адаптации, под архитектуру "своей" системы.

Часто отсутствуют внутренние форматы представления модели обучаемого для каждой системы в отдельности, без которой невозможно реализовать полноценный механизм адаптации.

2.2. Основные понятия теории и методологии системы оценивания результатов обучения

Вопросам оценивания результатов тестирования посвящена достаточно большая литература. Первые исследования (начало ХХ в.) выполнены были на стыке педагогики, психологии, социологии и других наук, называемых часто поведенческими науками (Behavioral Sciences) или психометрикой (Psychometrika), педагогическими измерениями (Educational Measurements).

Измерению подвергаются все, что необходимо для объективного контроля и анализа подготовленности обучаемых: знания, умения, навыки, представления, интеллектуальное, физическое и общекультурное развитие, творческие способности, воспитанность, эмоционально-чувственные способности и др.

Педагогические измерения, современные средства оценивания результатов обучения – это прикладной инструментарий педагогики.

Каковы базовые понятия и средства этого инструментария? Отметим основные.

Знания– нормативные, предлагаемые, приобретаемые, проверяемые, которые включают классы знаний:

  • названия, имена;
  • определения;
  • смысл названий (имен);
  • фактуальные;
  • ассоциативные;
  • противоположностей (противоречий, антонимов и т.д.);
  • классификационные;
  • сравнительно-сопоставительные;
  • причинно-следственные;
  • алгоритмические (процедурные);
  • технологические;
  • абстрактные;
  • вероятностные (стохастические);
  • методологические.
  • Но часто выделяют основные четыре области знаний, которые далее классифицируют и по направлениям – гуманитарное или естественнонаучное направление, затем – по наукам, практике (компетенциям):

  • знание мира (мировоззренческие);
  • знание людей (социальные, общественные);
  • знание "самого себя" (личностные, поведенческие);
  • знание деятельности (способов деятельности).
  • Качество образования также рассматривается многоаспектно (аксиологический, динамический, детерминистический, синергетический и др.).

    Квалитология – это теория качества и его оценивания, управления качеством с различных позиций: дидактической, методологической, педагогической, психологической, эмпирической и т.д.

    Качество образования в широком смысле – соответствие образования (как результата, процесса, системы) образовательным целям, потребностям, требованиям, стандартам, ресурсам общества, его институтов.

    Педагогический контроль – контроль научно-методический, эффективности, объективности, системности (широты), открытости (гласности, справедливости, гуманности) образовательной системы. При компетентностном подходе важен самоконтроль, который бывает выборочный или полный. Педагогический контроль – важная подсистема педагогической системы, процесса обучения.

    Система педагогического контроля базируется на моделях, критериях целевого результата, принятия решения, релевантности.

    Оценка качества включает, в частности, объективность (оценки), соответствие ГОС (программе), устойчивость (знаний), экономическую целесообразность и выгоду, свободу от риска ошибок оценивания. Оценка – мера соответствия учебной деятельности обучаемых как требованиям конкретной педагогической системы, так и нормативно-критериальным требованиям образовательной системы. Оценка качества часто проводится в форме аттестации. Оценка – эквивалент значимости заключений оцениваемого (группы оцениваемых).

    Аттестация – определение, проверка уровня и качества знаний обучаемых (сотрудников).

    Средства оценки результатов обучения бывают:

  • инновационные (оценивание модульное, мониторинг качества, рейтинг, тестирование, презентационное или портфолио);
  • традиционные (итоговый, промежуточный и текущий контроль).
  • Валидность – мера соответствия критерия, оценки оцениваемым знаниям, умениям и навыкам, для проверки которых была разработана оценка, мера соответствия стандартам и программам обучения, а также результатам оценивания.

    Верификация – способ эмпирического обоснования знаний, реализуемый соотнесением верифицирующей процедуры с верифицируемым утверждением и оценки результатов соотнесения.

    Гипотеза оценивания – утверждение, подлежащее оценке, проверке в рамках рассматриваемой педагогической проблемы.

    Достоверность (научность, непротиворечивость) оценки – мера истинности критерия оценки, согласованности, соответствия оценки современному состоянию науки и технологии, методике обучения и основам теории и практики оценивания.

    Диагностика обучения – обязательная часть образовательного процесса, определяющая достижение поставленных учебных целей.

    Значимость оценки – мера ее необходимости, актуальности в системе оценки ключевых знаний, умений и навыков.

    Инструментальная среда оценивания – комплекс программных, информационных, методических и организационных средств, обеспечивающих создание и сопровождение банков и баз средств оценивания (задания, методики и т.д.), проведения оценочных испытаний и обработки их результатов в реальном режиме времени.

    Квалиметрия педагогическая – область педагогических исследований, занимающаяся измерением и оценкой педагогических характеристик.

    Модель (профиль) специалиста – перечень базовых знаний, умений и навыков, которыми должен обладать специалист по завершении обучения.

    Мотивация – система взаимосвязанных сознательных побуждений к деятельности, направленная на удовлетворение учебных потребностей субъекта.

    Надежность оценки – мера адекватности отражения оценочной системой уровня знаний обучаемых. Надежность обеспечивает равные права каждой группе обучаемых и каждому обучаемому в группе; обычно используется коэффициент надежности, изменяющийся от 0 до 1 и представляющий собой отношение дисперсии измеряемого объекта в выборке (например, истинного балла) к реально полученной полной дисперсии с учетом ошибок измерений (например, тестового балла).

    Нормативно-ориентированная оценка (критерий оценки) – оценка для определения сравнительного уровня обученности выборки (всех) обучаемых между собой, относительно некоторой нормы обученности, образа обучаемого.

    Оценивание учебных достижений – установление уровня обученности путем обобщения результата качества его заключений по требованиям оценочных заданий.

    Портфолио – целенаправленно создаваемая рабочая папка (реальная или виртуальная – файл), содержащая документы по приобретенному знанию и опыту обучаемого (в одной или более областях).

    Рейтинговая система оценивания (рейтинг) – процедура установления индивидуального числового показателя оценки деятельности конкретного испытуемого на некотором временном промежутке.

    Репрезентативность оценки – мера полноты охвата оценочными заданиями и материалам, методикой учебного материала, программы, отражения ими различных уровней обучения.

    Стандартизация оценок – применение процедуры получения распределения индивидуальных оценок (например, баллов по тесту) для репрезентативной выборки оцениваемых, с целью сопоставления результатов у различных групп.

    Тьютор – научно-методический наставник или лицо, осуществляющее управленческие и оценочные научно-методические функции при обучении (обычно дистанционном).

    Шкала – числовая система (ось координат или оси координат) для количественной и качественной оценки (фиксации) свойств изучаемого объекта, субъекта или явления.

    Шкалирование – процедура перевода системы оценок в некоторую шкалу, перевода их из одной оценочной шкалы в другую.

    2.3. Функции педагогического контроля

    Педагогический контроль – это система дидактических и методических средств и принципов руководства, методистов и педагогов образовательной системы, предназначенная для оценки результатов образовательного процесса.

    Такой контроль позволяет оценить учебные достижения, выявить пробелы в них, установить причинно-следственные связи целевых и достигнутых уровней образования, оценить эффективность методов обучения, работы преподавателей, принять управленческие решения.

    Основные компоненты контрольно-оценочной деятельности:

  • идентификация понятийных индикаторов (тем, разделов и др.);
  • идентификация понятий путем формирования вопросов, заданий и т.д.;
  • адаптация формы представления требований к задачам оценивания;
  • формулировка модели целевых результатов контроля;
  • проведение непосредственных контрольных мероприятий;
  • верификация модели на реальных ответах обучаемых;
  • формирование оценочных суждений;
  • принятие решения (на базе суждений) о необходимости контроля или возможности выставления оценок.
  • Перечисленные компоненты интерпретируются всегда по-разному, в зависимости от инструментальных средств и технологий. Важно уметь адекватно выделять понятийные индикаторы, определяющее как содержание контроля (обычно задается ГОС и требованиями по обязательному минимуму), так и сам предмет оценки.

    В текущем (повседневном) учебном процессе важен текущий контроль усвоения знаний, оценка результатов приобретения новых знаний. Содержание контроля задает приоритеты обучения, используя требования к учебным достижениям.

    Пример. С развитием ЕГЭ может наступить дисбаланс акцентов, приоритетов обучения. Некачественные тесты, ориентированные больше на знание понятий и фактов могут перенести акценты учителей к фактологическим материалам, а не к раскрытию сути этих понятий и фактов, законов, к развитию творчества.

    Мотивация обучаемых – тем выше, чем полнее и четче определены оценочные критерии для учебных достижений, детальней описана процедура их достижений и больше информирован обучающий о путях и средствах достижения высоких оценок.

    Традиционно выделяют входной, текущий и итоговый контроль. Самоконтроль (самооценка) в эту педагогическую классификацию не включают, она рассматривается обычно как педагогическая психология.

    Входной контроль используется в вузе, но в школе – лишь иногда, при наборе в профильные классы (инициатива учебного заведения). Такой контроль применяется в форме экспресс-диагностики, тестирования.

    Текущий контроль позволяет получать оперативно информацию о состоянии учебного процесса и регулировать его. Контролируются данные по динамике усвоения нового материала, процессы (процедуры) выполнения заданий, организация учебного процесса и др.

    При идентификации причин ошибок и неуспехов обучаемых анализируются различные ситуации, используется обратная связь.

    Итоговый контроль (этап, рубеж, финал) оценивает учебные достижения в конце определенного этапа обучения, например, прохождения раздела. Анализ результатов такого контроля дает обучающему информацию для принятия решений и улучшения работы, выявляет систематические пробелы в подготовке обучаемых.

    Формы итогового контроля – внешний и внутренний контроль. Внешний проводится независимыми (от учебного заведения) структурами (госаттестация, ЕГЭ и т.п.). Внутренний контроль – самим учебным заведением (сессионные или "переводные" экзамены и т.п.).

    Функции контроля:

  • традиционные – контроль, диагностика, обучение, воспитание, мотивация;
  • современные – информирование, сравнительный анализ, прогноз, развитие.
  • Контролирующая функция – систематический контроль результатов обучения, усвоения знаний, привития умений и развития навыков.

    Диагностическая функция – анализ причин и структур затруднений обучающихся, особенно, для нужд индивидуализации обучения.

    Обучающая функция реализуется во время передачи знаний, обратной связи (при ответах), самоконтроле (самостоятельной работе), обучающего контроля (контрольные работы, опросы, тестирование).

    Воспитывающая функция реализуется во время обучения, самоконтроля (самооценки) и воспитывает такие качества обучаемого, как творческий подход, интерес, работоспособность, упорство, самооценка и др. Эта функция – основная при развитии мотивационной функции, при росте мотивационных устремлений, побуждая обучаемого к новым достижениям, более высоким оценкам.

    Информационная функция, полнота ее реализации зависит от данных контроля, растет при повышении меры ответственности принимаемых (по результатам контроля) решений.

    Сравнительная функция сопоставляет данные мониторинга (тестирования) образовательной структуры, например, с данными по региональному уровню. Для корректности сопоставления необходимо шкалирование, формирования представительных выборок и сравнение социально-экономических факторов (состав обучаемых, подбор преподавателей, обстановка).

    Прогностическая функция выявляет способности по усвоению нового учебного материала, отражая предысторию обучения. Например, применяются тесты с подтвержденной прогностической способностью, в частности, в ЕГЭ – это КИМ.

    Развивающая функция служит развитию междисциплинарности, творческого подхода, активизации, переносу знаний на незнакомую ситуацию, способностей к анализу, обобщению, композиции, агрегированию и т.д.

    2.4. Педагогические принципы контроля и оценки

    Основные дидактические принципы контроля: научность, эффективность, структурированность (иерархичность), систематичность, объективность, полнота.

    Принцип научности заключается в использовании лишь научно-методически обоснованных средств, процедур, методов контроля. Сложное требование.

    Пример. Для оценки качества коллоквиума, привлекаются не только знания, но и опыт, эвристики. "С обеих сторон".

    Этот принцип предполагает контроль точности и устойчивости, адекватности, своевременности данных.

    Принцип иерархичности ориентирует на иерархию знаний, умений и навыков в реализуемой процедуре контроля, при отборе ее содержания. Все проверить невозможно – следует отбирать значимые, крупные элементы, комплексы в оценочных средствах.

    Принцип систематичности – плановость контроля, оценки. Отказ от этого принципа, нерегулярность контроля ведет к снижению качества обучения.

    Принципы объективности, справедливости – взаимозависимы. В теории педагогических измерений принято говорить не об "объективной оценке", а об "истинной оценке", характеризующей уровень подготовки в момент контроля.

    Пример. Можно сравнивать ("больше-меньше") объективность оценок ситуации А и В, говорить о величине ошибок измерений.

    Объективность повышается коллегиально (экспертно), созданием "эталонов" усвоения знаний, умений и навыков по предмету или тестированием, с надежной системой тестирования и оценивания результатов, шкалирования и перехода от "сырых" баллов к "шкальным".

    Принцип полноты, всесторонности служит для обеспечения тщательного отбора содержания контролирующей среды, по возможности максимальной широты и глубины.

    Пример. Традиционно используемые такие формы контроля, как диктант, самостоятельная работа, контрольная работа, лабораторная работа, зачет, опрос, коллоквиум. Нетрадиционные формы – викторина, игра (например, "Интеллектуальный ринг"), рейтинг, портфолио (накопительная оценка, мониторинг, метод Шаталова и др.)

    2.5. Психолого-педагогические принципы контроля и оценки

    Они связаны с самоконтролем и самооценкой обучаемых, являются также важным показателем качества обучения. Особенно актуальны в последнее время – время ухода от авторитарных методов проведения проверок, наделения преподавателя "властными полномочиями", время обучения "в сотрудничестве" (обучающего и обучаемого, обучаемых между собой), превращения цели обучения и воспитания личности в его личные цели.

    Самоконтроль и самооценка – это действия, проявляющиеся у обучаемых в навыках самоконтроля результатов собственной деятельности, с успешной ее коррекцией по ходу выполнения учебных заданий.

    Результат самоконтроля – самооценка. Она может оказаться завышенной или заниженной. Все зависит от психологических качеств человека. Эти навыки трудно раскрыть, отследить "извне".

    На начальной стадии ("материал принят к усвоению") преподаватель еще может контролировать этот процесс. Далее, на втором этапе, потребуются навыки самоконтроля и контроль возможен лишь вместе с обучаемым. На следующем этапе уровень усвоения растет, самоконтроль имеет выборочный характер, участие обучающего уменьшается, а к четвертому этапу (стадия полного усвоения) это участие минимизируется.

    Сотрудничество в контроле – это сотрудничество с обучаемым (при контроле), согласно идее помощи обучаемому. Текущий контроль влияет на характер, интенсивность, направленность, потребность в такой помощи.

    Главная причина снижения мотивации к обучению – отсутствие эффективных механизмов выбора (оптимизации) трудности учебных задач.

    Пример. Такие принципы заложены в основу системы Л.В. Занкова. Эксперимент Занкова показал, что нарушение принципа доступности приводит к механическому списыванию готовых решений или к полному отказу от решения. Недостаточно трудные заданий приводит к исключению сотрудничества с обучающим.

    Просьба о помощи – основа сотрудничества, поэтому в текущем контроле следует оптимизировать трудность контрольных заданий, индивидуализировать их, согласно подготовке обучаемых. Нужны банки заданий, со статистическими оценками трудности, специальные шкалы, позволяющие сравнить и оценить подготовку обучающихся и сложность заданий.

    Зона развития личности обучаемого (согласно концепции Л.С. Выготского) определяет и задания, с которыми обучаемый может самостоятельно справиться. Оценка знаний по таким заданиям (итоговый контроль) является объективным показателем освоения учебного материала. При выполнении объективных, освоенных заданий помощь обучающего не понадобится, но задания зоны ближайшего развития, он сможет выполнить лишь с помощью обучающего, сотрудничая с ним и расширяя область знаний и умений, освоенные задания.

    Педагогическую оценку нельзя отождествлять с отметкой, как бывает иногда. Оценка отражает результат, качество, отметка – количественный аналог оценочных суждений.

    Пример. Удовлетворительные знания в отечественном образовании оценивают "тройкой", отличные – "пятеркой". Эти баллы не дают педагогического смысла, количественной характеристики ответа оцениваемого. В других странах – другие количественные аналоги.

    2.6. Процесс оценивания

    Процесс оценивания базируется на сравнении, зависящим от выбора базовой системы выставления оценок. Такие системы – разнообразны:

  • результаты группы обучаемых;
  • требования ГОС (программы);
  • априорные оценки способностей обучаемых;
  • объем труда (прилежания) учащегося при освоении материала.
  • При оценке по результатам группы сравнивают подготовленность каждого из группы с результатами всей группы или ее части, затем группа (часть) ранжируется на подгруппы, внутри которых у всех одинаковые оценки (таксономия).

    При оценке согласно ГОС (программам) оценка выставляется по процентному соотношению выполненных требований ГОС и полного объема его требований, дальнейшему сравнению процентов с критериями обученности (усвоения), которые устанавливаются экспертно или эмпирически (по "эталонным наборам требований").

    При использовании априорных оценок, достижения обучаемого сопоставляют с его потенциалом (оцениваемым интуитивно обучающим, экспертом): обучаемый с низким потенциалом, продемонстрировавший достижения, сравнимые с достижениями "высокопотенциальных" обучающихся, получают оценки более высокие.

    При оценке по прилежанию вместо способностей оцениваются, на деле усилия обучающегося по приобретению новых знаний, интенсивность таких усилий, прилежание.

    Все эти подходы имеют свои "плюсы" и свои "минусы".

    Пример. При оценке по прилежанию часто завышается оценка – "больше усилия – выше оценка". Легко усваивающие учебный материал обучающиеся страдают, их оценки занижаются.

    Отсутствие стандартизированных тестов девальвирует существующую пятибалльную шкалу. Согласно исследованиям (А.Г. Шмелев), педагоги часто применяют свою "логическую" (в сознании) идеализированную шкалу и выставляют оценки, сопоставляя планируемый и достигнутый уровень усвоения учебного материала.

    Пример. ЕГЭ опровергает идеализированное представление о качестве российского образования. ЕГЭ в большинстве регионов РФ показывает, что существующая граница "двойка" – "тройка" ниже, чем думалось: снижение нижних границ "тройки" по результатам ЕГЭ – тому яркое свидетельство.

    Модифицировать контрольно-оценочную систему можно и нужно. В частности, необходимо:

  • минимизировать субъективизм итогового контроля, перейти к массовому использованию стандартизированных тестов;
  • уменьшить авторитарность текущего контроля, создав условия для самоконтроля (самооценки);
  • использовать инновационные критерии и инструменты, обеспечивающие оценку компетентностей, творческую деятельность;
  • отойти от ориентира "для среднего обучаемого";
  • уменьшить долю письменных контрольных мероприятий, ввести аутентичные формы оценивания, релевантные оценочные средства (тесты умений, ситуационное моделирование, оценка портфолио и др.).
  • 2.7. Система оценивания на базе обобщенной шкалы оценок учебных достижений

    Использование пятибалльной оценки недостаточно объективно, так как не обладает необходимой разрешающей способностью оценивания достижений.

    Рассмотрим используемую нами систему смешанных, количественно-качественных оценок (в скобках, соответственно, оценочные эквиваленты по классической отечественной пятибалльной, точнее, четырехбалльной шкале):

  • 0 баллов (2) – уровень полной (безусловной) неподготовленности, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины не сформированы, все выполненные текущие задания содержат ошибки, причем процент грубых ошибок или невыполненных заданий контрольных мероприятий (например, тестовых заданий) превышает максимально допустимый, самостоятельная работа не осуществлялась, мотивация отсутствовала;
  • 1 балл (2) – сильно выраженный отрицательный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины не сформированы, все выполненные текущие задания содержат ошибки, причем процент грубых ошибок в заданиях или невыполненных заданий контрольных мероприятий превышает максимально допустимый, самостоятельная работа осуществлялась в недостаточной мере (недостаточна для изменения оценки при повторном выполнении аналогичной работы), но есть способность к её выполнению, мотивация была слабо выражена;
  • 2 балла (2) – выраженный отрицательный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины не сформированы, все выполненные текущие задания содержат ошибки, причем процент грубых ошибок или невыполненных заданий контрольных мероприятий превышает максимально допустимый, самостоятельная работа осуществлялась в недостаточной мере, мотивация была выражена;
  • 3 балла (2) – отрицательный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины не сформированы, текущие задания содержат ошибки, причем процент грубых ошибок или невыполненных заданий контрольных мероприятий близок к минимально допустимому уровню (например, 40%), самостоятельная работа осуществлялась в достаточной мере (при повторном выполнении аналогичной работы возможен переход на следующий уровень шкалы), мотивация была выражена в достаточной мере;
  • 4 балла (2) – слабо выраженный отрицательный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины не сформированы, но близки к нему, имеются невыполненные учебные текущие задания, а остальные оценены невысокими баллами (менее 60% от максимума нормы) по проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация была выражена в достаточной мере;
  • 5 баллов (3) – слабо выраженный положительный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины сформированы, имеются невыполненные учебные текущие задания, а остальные оценены невысокими баллами (но не менее 60% от максимума нормы) по проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация выражена в достаточной мере;
  • 6 баллов (3) – положительный уровень подготовки, теоретические знания на минимально необходимом уровне требований учебной программы дисциплины сформированы, сопровождаются основными необходимыми практическими умениями и навыками, достаточными баллами (не менее 70% от максимума нормы) по проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация была выражена в достаточной мере;
  • 7 баллов (4) – хороший уровень подготовки, теоретические знания в полном объеме требований учебной программы дисциплины сформированы, но с небольшими, легко устраняемыми самостоятельно (по указаниям преподавателя) пробелами и сопровождаются почти всеми необходимыми практическими умениями и навыками, хорошими баллами (не менее 75% от максимума нормы) по проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация была выражена в достаточной мере;
  • 8 баллов (4) – очень хороший уровень подготовки, теоретические знания освоены в полном объеме учебной программы дисциплины, сопровождаются почти всеми необходимыми практическими умениями и навыками, высокими баллами (не менее 85% от максимума нормы) по всем проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация была выражена сильно;
  • 9 баллов (5) – высокий уровень подготовки, теоретические знания освоены в полном объеме учебной программы дисциплины, сопровождаются всеми необходимыми практическими умениями и навыками, высокими баллами (близкими к максимальным баллам, но не менее 90% от максимума нормы) по всем проведенным контрольным мероприятиям, самостоятельная работа осуществлялась в достаточной мере, мотивация была выражена сильно;
  • 10 баллов (5) – очень высокий уровень подготовки, теоретические знания освоены в полном объеме учебной программы дисциплины, сопровождаются всеми необходимыми практическими умениями и навыками, наивысшими баллами по всем проведенным контрольным мероприятиям, самостоятельная работа осуществлялась эффективно и в достаточной мере, мотивация была выражена очень сильно.
  • Можно указать также соответствующие примерные (верхние границы) оценочные эквиваленты по пятибалльной европейской системе ECTS – European Credit Transfer System (в скобках – обозначение оценки):

  • 0 баллов (F) – безусловно неудовлетворительно;
  • 1 балл (F) – безусловно неудовлетворительно;
  • 2 балла (F) – безусловно неудовлетворительно;
  • 3 балла (F) – безусловно неудовлетворительно;
  • 4 балла (Fx) – неудовлетворительно;
  • 5 баллов (Fx) – неудовлетворительно;
  • 6 баллов (E) – посредственно;
  • 7 баллов (D) – удовлетворительно;
  • 8 баллов (С) – хорошо;
  • 9 баллов (B) – очень хорошо;
  • 10 баллов (A) – отлично.
  • Отсюда видно, что система ECTS является несколько более "строгой" оценочной системой (мы здесь не имеем в виду уровень и глубину знаний, оцениваемых по этой системе). Предложенную выше систему можно привести, при желании, в полное соответствие со шкалой ECTS.

    Эта шкала оценок позволяет описывать обучающее воздействие для каждого фактора через его амплитуду и важность.

    Амплитуда – мера общего уровня обученности. Важность – мера значимости данного тестирования в конкретном случае. Это позволяет отделить фактические данные об амплитудах от субъективных оценок важности и сделать оценки в некотором смысле относительно независимыми от экспертов.

    Последнее важно для разработки экспертной системы, которая позволит оценивать социо-экономико-психологическое состояние среды обучения (тестирования) по задаваемым пользователем (экспертом) количественным оценкам тех или иных параметров среды (выбираемых из базы знаний системы). Для каждого входного фактора задаются относительные (от 0 до 1) оценки влияния этого фактора (вес фактора). После анализа этих данных (обучающей обстановки) система принимает, на основе базы знаний, решение о состоянии педагогико-психологической среды, используя количественную оценку (от 0 до 1) и одиннадцатибальную (0—10) качественную систему оценок, приведенную выше.

    2.8. Инновации контроля и оценивания

    Современному контролю и оценке результатов при обучении, росту роли тестирования "тесно" в рамках традиционных количественных методов. Рассматривается смешанная, количественно-качественная и когнитивная методология оценивания, которая базируется на традиционных и нетрадиционных критериях и измерителях охватывающих не только работу в учебном заведении, но и внеаудиторную, самостоятельную работу.

    Приоритет статических, "фиксирующих" оценок меняется на приоритет динамических, "аналитических", мониторинговых оценок качества подготовленности обучаемых.

    Часто используют портфолио практической деятельности, эффективное средство привития и развития навыков критического подхода и перехода к реальным самооценкам. Портфолио обеспечивает объективность информации по качеству учебных достижений в силу стандартизации, четко определенных критериев оценки достижений, вырабатываемых в процессе сотрудничества, самостоятельной работы. Представление материалов портфолио по форме может быть разнообразным, текстовым, мультимедийным, скринкастинговым и др. Портфолио (как и тесты) имеют свои недостатки: затратность (ресурсы, время), плохо оцениваемая надежность и др. Портфолио может иметь формы: "Портфолио документов", "Портфолио работ", "Портфолио отзывов" и др.

    Используются также тесты практической деятельности. Они позволяют идентифицировать уровень освоения навыков практической деятельности с помощью специальных экспериментальных тестовых заданий, результатом выполнения которых является материальный продукт, далее оцениваемый экспертной группой в стандартизированной шкале. Хотя такие тесты часто и "нарушают" требования тестологии, они все же высоковалидны и, главное, интересны обучаемым.

    Компьютерные автоматизированные технологии, системы позволяют автоматизировать как текущий, так и итоговый контроль. Инструментальные системы для контроля и оценки знаний отличаются дружественным интерфейсом, "разноформатностью" заданий, сценариев организации контроля и т.д.

    Применяются также такие формы, как личностно-ориентированная контрольная работа, формирование самооценки (на основе домашних и самостоятельных работ).

    Инновации – средство для многогранной оценки качества результатов обучения, требующие достаточного уровня подготовки обучаемого (владение компьютером, коммуникативные способности, способности к работе в коллективе и др.) и даже самого обучающего, которому может не хватать профессиональной компетентности, стаж или стиля работы, методических приемов и т.д.

    Для инновационных отношений обучаемого и обучающего необходим правильный подбор заданий для контроля с оптимальной трудностью, соответствующей зоне ближайшего развития обучаемого. Для такого подбора на практике необходим адаптивный подход, необходимо адаптивное тестирование.

    2.9. Адаптивное тестирование

    Проблема автоматизированного проектирования педагогических тестов, видимо, в ближайшее время не может быть корректно и достаточно полно разрешенной, в частности, из-за ситуационного многообразия и отсутствия четких критериев автоматизации такой плохо формализуемой проблемы. Тем не менее, попытаемся изложить основные принципы автоматизированной разработки тестов и тестирования.

    Технология компьютеризированного тестирования должна обладать основными характеристиками:

  • наличие интерактивной инструментальной среды;
  • мультипредметное применение;
  • адекватное отражение конструируемой модели предметной области в процессе тестирования;
  • возможность выбора алгоритма тестирования;
  • интегрируемость в различные образовательные технологии;
  • профилируемость;
  • масштабируемость;
  • доступность;
  • дружественность пользовательского интерфейса;
  • ведение базы тестовых многоуровневых заданий;
  • настраиваемое планирование и управление;
  • нацеленность на достижение более высоких результатов и повышение мотивации.
  • Компьютерные тесты обладают рядом преимуществ по сравнению с традиционными тестами.

    Имеют они и недостатки, например, психологического, этического и правового плана.

    В обучающих системах используют два принципа контроля знаний:

  • оценка действий обучаемого и определение уровня его знаний по знаниям о предметной области и правилам оценки действий обучаемого;
  • стандартизированный контроль знаний по выборке специальных заданий и по его ответам на них (тестовый).
  • Современное тестирование характеризуется интенсивной заменой классических тестов и классического тестирования так называемыми "адаптивными тестами" или "тестами с изменяющейся структурой".

    Адаптивное тестирование определяется М.Б.Челышковой как "совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающая прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых".

    Автоматизированная система тестирования – интегрированный программно-технический комплекс для тестирования в автоматизированном (человеко-машинном) режиме.

    Адаптивное тестирование – вариант автоматизированной системы тестирования, в которой априори известны параметры трудности и дифференцирующая способность каждого задания.

    Адаптивное тестирование должно удовлетворять следующим требованиям:

  • регулируемость пропорций предъявляемых легких, средних и трудных заданий в зависимости от числа правильных ответов тестируемого;
  • регулируемость пропорций предъявляемых различных тематических разделов учебной программы в тесте;
  • регулируемость уровня сложности предъявляемых тестов с учетом семантической компетенции тестируемого;
  • включение адаптивного механизма перевода на более высокий уровень заданий на одном и том же уровне предъявляемых заданий;
  • оценивание каждого задания более высокого уровня более высокими баллами.
  • Немалую роль в этом сыграло и развитие дистанционного обучения, WWW¬-ориентированное обучение (WBE – Web-Based Education или WBT – Web-Based Training). WWW-тестирование (часто называемое Интернет-тестированием) используется не только для обучения, но и для самообучения (самотестирования) в онлайновом обучении и контроле (on line – дословно "на линии").

    Основные принципы, которые должны быть присущи веб-тестированию:

  • гуманистичность;
  • приоритетность педагогического подхода;
  • адекватность выбора контента;
  • обеспечение безопасности и конфиденциальности;
  • тренинг, компьютерная грамотность;
  • адекватность технологии и информационной модели предметной области;
  • мобильность;
  • гибкость;
  • массовость;
  • рентабельность и др.
  • Существующие WBE-среды различаются по типу и степени поддержки, которую они обеспечивают на каждом из упомянутых выше этапов. Простые системы обычно обеспечивают частичную поддержку некоторых из них, а развитые системы – полную и всех.

    Различны и технологии поддержки, причем от них и зависит степень поддержки, в частности, форма хранения тестов – статическая (например, HTML-код) или динамическая (например, CGI-скрипты, Java-машина или GUI – специализированное графическое представление вопроса).

    Различаются они и по форме генерации заданий:

  • по простому статическому шаблону;
  • простым непараметризованным выбором из банка;
  • генерацией по поисковому образцу из базы;
  • параметризованным выбором из базы с помощью метаданных задания (теста) – тип, ключевые слова, раздел, сложность.
  • Наиболее перспективный подход – адаптивная генерация заданий.

    Такие системы генерируют задания, наиболее адаптированные к уровню достижений обучающегося.

    К сожалению, Web–обучение имеет и отрицательные стороны, так как оно оторвано от обычного человеческого общения.

    В последнее время активно развивается m-Learning ("Мобильное обучение", точнее, "Обучение на основе мобильных технологий и средств" – карманных компьютеров (КПК), смартфонов (сотовых телефонов с расширенным набором функций), ноутбуков или других устройств с минимальными ресурсами с минимальной необходимостью использования "специального" места обучаемого и "специального" времени для обучения).

    В частности, в рамках программы Европейской комиссии "Leonardo da Vinci" (программа профессионального обучения в течение всей активной жизни) при поддержке компании Ericsson и некоторых европейских университетов дистанционного обучения в 2003 году реализован проект "From e-Learning to m-Learning" ("От электронного обучения – к мобильному"). Разработана специальная система mLMS (Mobile Learning Management System) для управления мобильным обучением (с помощью карманных компьютеров, мобильных телефонов).

    Другой проект Евросоюза "m-Learning" (Великобритания, Италия, Швеция) ориентирован на молодежь с высоким фактором риска социального неравенства и разрабатывает систему LMS обеспечивающую доступ к интерактивным учебным материалам.

    В Институте точной механики и оптики (С-Петербург) разработана система тестирования на основе карманных персональных компьютеров пользователей и удаленного сервера базы данных (тестов).

    Принципы m-Learning используются активно за рубежом и начали использоваться и в нашей стране (например, в Интернет-университете информационных технологий http://www.intuit.ru).

    Хотя возможности m-Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

    Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.

    2.10. Инструментальные системы обучения, контроля и оценки

    Существует множество автоматизированных систем обучения и контроля. Наиболее часто встречаются так называемые обучающие программы, разработанные на основе эмпирического подхода, определенный педагогический опыт и здравый смысл (системы "от учебного предмета"). Как правило, у них низкая дидактическая эффективность (по зарубежным оценкам, эффективными являются не более 10% таких программ, а число непригодных – около 90%).

    Рассмотрим некоторые системы.

  • Moodle (Modular Object-Oriented Dynamic Learning Environment) – одна из активно используемых в последнее время систем управления обучением (Learning Management System, LMS) или систем для разработки, управления, тиражирования учебных материалов, обеспечивающих совместный доступ с распределенным участием пользователей (рис. 1). Это модульная динамическая объектно-ориентированная учебная среда — открытая и свободно распространяемая система. Учебные материалы создаются в визуальной среде с помощью заданной последовательности изучения. Ориентирована на дистанционное обучение в режиме реального времени через Интернет.

    Moodle работает по "клиент–серверной" технологии. Администратор, преподаватель размещают материал на сервере, обучающиеся работают с ними на своих "клиентских" компьютерах. Кроме языковой и "шаблонной" поддержки, Moodle может подключать различного типа плагины: элемент курса, отчет администратора, тип задания, вопроса или ресурса, аутентификация, формат курса, отчет по курсам, подписка на курс, фильтр, отчет по оценкам или тестам, импорт-экспорт оценок или тестов, портфолио, хранилище файла, поиска и другие.

    (рис 2.1) Создание лекции в LMS Moodl

    Система поддерживает SCORM (Sharable Content Object Reference Model) – стандарт систем дистанционного обучения, спецификации к организации и совместимости учебного контента и системы дистанционного обучения. По SCORM учебный материал представляется модульно, включаются в разные курсы автономно и независимо. SCORM основан на стандарте оформления документов XML.

  • Lotus Learning Space – средство разработки обучающих мультимедиа-курсов. Пакет Learning Space поддерживает три способа обучения: самостоятельное и пошаговое, без тьютора и контроля (материалы на веб-сервере, в базе данных или на носителе).
  • ToolBook – средство создания мультимедиа–приложений обучающего характера. Позволяет создавать тесты, встраивать их в контент и проводить тестирование. Имеется также набор стандартных видов тестов, которые легко встраиваются в создаваемый контент.
  • WebCT – интегрированная среда разработки и использования сетевых курсов. Тестирующая система WebCT позволяет использовать основные типы тестовых заданий, включая и развернутый ответ.
  • eLearning Office – система разработки мультимедиа-приложений: электронных каталогов, энциклопедий, учебников, презентаций, поисковых систем и других. Включает систему интерактивного тестирования для самопроверки знаний учащегося с заданиями, которые могут быть трех типов (с вариантами выбора ответов, с вводом строки ответа и на соответствие ответа) и включать аудио- и видео-фрагменты, а также графические объекты. Есть режим контроля результатов тестирования. Преподаватель может выставлять оценки обучаемым автоматически или самостоятельно, контролируя неправильные ответы.
  • tTester – разработка, которая позволяет создавать тесты, объединять тесты в один тест, редактировать тесты, создавать "бумажные" версии тестов и их печать и др.
  • АСТ-Тест – инструментальная среда для разработки педагогических тестов и адаптивного тестирования с использованием OLE-технологии и мультимедиа. Имеет модули "Конструктор тестов", "Система тестирования".
  • АИССТ – Автоматизированная Интерактивная Система Сетевого Тестирования для проведения контроля знаний обучающихся, создания и настройке предметного материала, администрирования работы системы.
  • Гефест – сетевая адаптивная информационно-обучающая система, использующая методы теории автоматов и марковских процессов. В модель адаптивного управления обучением включены объекты "Устройство адаптивного обучения (формирование вопросов и задач, контроль ответов и оценка знаний)", "Модель обучающегося".
  • LERSUS – программная система (редактор) для быстрой разработки и стандартизации электронных (в том числе, веб-контента с использованием видео, аудио, Java, Flash) или печатных учебных материалов в виде интерактивного веб-контента без непосредственного (процедурного) программирования и дизайнерских усилий, организует интерфейсную поддержку и импорт-экспорт при разработке тестов.
  • М-Тест – инструментальная среда для поддержки адаптивного тестирования и аттестации сотрудников. Позволяет конструировать мультимедийные задания основных форм, используя технологию связывания объектов OLE, создавать банки таких заданий, визуализировать результаты тестирования (протоколирование), вести статистику.
  • IRT–технология (методология) адаптивного тестирования, получившая название "Тест интеллектуального потенциала" для экспресс-диагностики интеллектуальных способностей людей различных возрастных групп.
  • Есть и другие аналогичные системы. Все системы обучения и контроля должны иметь критерии адекватности.

    Отметим следующие критерии адекватности образовательных WWW-ресурсов:

  • качество закрепления материала (в частности, для тестирующих систем);
  • качество и структурированность учебного материала (для электронных учебников);
  • актуализация структурированного знания (для поисковых систем);
  • эффективная обратная связь (для образовательных телеконференций);
  • визуализация (для визуальных сред программирования);
  • виртуализация (для моделирующих сред);
  • создание новых операционных возможностей или актуализация "старых" новыми структурами (для микромиров);
  • связность нового и старого знания (для когнитивных сред);
  • обеспечение перехода на новый продуктивный уровень деятельности обучаемых (для креативных средств и сред);
  • снижение стоимости и времени (для CASE-систем);
  • повышение интеллектуальной поддержки процесса принятия решений (для нейросистем);
  • качество обеспечения коммуникативности (для интрасетей и экстрасетей) и др.
  • Образовательная система должна реагировать на наблюдаемые несоответствия и скачки в окружении, в обществе, адаптируясь и извлекая уроки из критических ситуаций.

    Темы для самостоятельных работ и рефератов

  • История тестологии как науки.
  • Роль, значение, место педагогического контроля в педагогической системе, процессе обучения.
  • Сравнительный анализ традиционных средств оценки результатов обучения.
  • Сравнительный анализ инновационных средств оценки результатов обучения.
  • Рейтинговые системы оценивания (методы и подходы построения).
  • Основные компоненты и функции контрольно-оценочной деятельности.
  • Контроль учебной деятельности как способ мотивации обучаемых.
  • Функции контроля учебной деятельности.
  • Основные дидактические принципы контроля учебной деятельности.
  • Основные синергетические эффекты в образовании (самообучение, самоконтроль, самооценка, самовоспитание и др.).
  • Вернуться к учебному плану