Современные требования к оцениванию результатов обучения

2.9. Адаптивное тестирование

Проблема автоматизированного проектирования педагогических тестов, видимо, в ближайшее время не может быть корректно и достаточно полно разрешенной, в частности, из-за ситуационного многообразия и отсутствия четких критериев автоматизации такой плохо формализуемой проблемы. Тем не менее, попытаемся изложить основные принципы автоматизированной разработки тестов и тестирования.

Технология компьютеризированного тестирования должна обладать основными характеристиками:

• наличие интерактивной инструментальной среды;
• мультипредметное применение;
• адекватное отражение конструируемой модели предметной области в процессе тестирования;
• возможность выбора алгоритма тестирования;
• интегрируемость в различные образовательные технологии;
• профилируемость;
• масштабируемость;
• доступность;
• дружественность пользовательского интерфейса;
• ведение базы тестовых многоуровневых заданий;
• настраиваемое планирование и управление;
• нацеленность на достижение более высоких результатов и повышение мотивации.

Компьютерные тесты обладают рядом преимуществ по сравнению с традиционными тестами.

Имеют они и недостатки, например, психологического, этического и правового плана.

В обучающих системах используют два принципа контроля знаний:

1. оценка действий обучаемого и определение уровня его знаний по знаниям о предметной области и правилам оценки действий обучаемого;
2. стандартизированный контроль знаний по выборке специальных заданий и по его ответам на них (тестовый).

Современное тестирование характеризуется интенсивной заменой классических тестов и классического тестирования так называемыми "адаптивными тестами" или "тестами с изменяющейся структурой".

Адаптивное тестирование определяется М.Б.Челышковой как "совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающая прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых".

Автоматизированная система тестирования – интегрированный программно-технический комплекс для тестирования в автоматизированном (человеко-машинном) режиме.

Адаптивное тестирование – вариант автоматизированной системы тестирования, в которой априори известны параметры трудности и дифференцирующая способность каждого задания.

Адаптивное тестирование должно удовлетворять следующим требованиям:

• регулируемость пропорций предъявляемых легких, средних и трудных заданий в зависимости от числа правильных ответов тестируемого;
• регулируемость пропорций предъявляемых различных тематических разделов учебной программы в тесте;
• регулируемость уровня сложности предъявляемых тестов с учетом семантической компетенции тестируемого;
• включение адаптивного механизма перевода на более высокий уровень заданий на одном и том же уровне предъявляемых заданий;
• оценивание каждого задания более высокого уровня более высокими баллами.

Немалую роль в этом сыграло и развитие дистанционного обучения, WWW¬-ориентированное обучение (WBE – Web-Based Education или WBT – Web-Based Training). WWW-тестирование (часто называемое Интернет-тестированием) используется не только для обучения, но и для самообучения (самотестирования) в онлайновом обучении и контроле (on line – дословно "на линии").

Основные принципы, которые должны быть присущи веб-тестированию:

• гуманистичность;
• приоритетность педагогического подхода;
• адекватность выбора контента;
• обеспечение безопасности и конфиденциальности;
• тренинг, компьютерная грамотность;
• адекватность технологии и информационной модели предметной области;
• мобильность;
• гибкость;
• массовость;
• рентабельность и др.

Существующие WBE-среды различаются по типу и степени поддержки, которую они обеспечивают на каждом из упомянутых выше этапов. Простые системы обычно обеспечивают частичную поддержку некоторых из них, а развитые системы – полную и всех.

Различны и технологии поддержки, причем от них и зависит степень поддержки, в частности, форма хранения тестов – статическая (например, HTML-код) или динамическая (например, CGI-скрипты, Java-машина или GUI – специализированное графическое представление вопроса).

Различаются они и по форме генерации заданий:

• по простому статическому шаблону;
• простым непараметризованным выбором из банка;
• генерацией по поисковому образцу из базы;
• параметризованным выбором из базы с помощью метаданных задания (теста) – тип, ключевые слова, раздел, сложность.

Наиболее перспективный подход – адаптивная генерация заданий.

Такие системы генерируют задания, наиболее адаптированные к уровню достижений обучающегося.

К сожалению, Web–обучение имеет и отрицательные стороны, так как оно оторвано от обычного человеческого общения.

В последнее время активно развивается m-Learning ("Мобильное обучение", точнее, "Обучение на основе мобильных технологий и средств" – карманных компьютеров (КПК), смартфонов (сотовых телефонов с расширенным набором функций), ноутбуков или других устройств с минимальными ресурсами с минимальной необходимостью использования "специального" места обучаемого и "специального" времени для обучения).

В частности, в рамках программы Европейской комиссии "Leonardo da Vinci" (программа профессионального обучения в течение всей активной жизни) при поддержке компании Ericsson и некоторых европейских университетов дистанционного обучения в 2003 году реализован проект "From e-Learning to m-Learning" ("От электронного обучения – к мобильному"). Разработана специальная система mLMS (Mobile Learning Management System) для управления мобильным обучением (с помощью карманных компьютеров, мобильных телефонов).

Другой проект Евросоюза "m-Learning" (Великобритания, Италия, Швеция) ориентирован на молодежь с высоким фактором риска социального неравенства и разрабатывает систему LMS обеспечивающую доступ к интерактивным учебным материалам.

В Институте точной механики и оптики (С-Петербург) разработана система тестирования на основе карманных персональных компьютеров пользователей и удаленного сервера базы данных (тестов).

Принципы m-Learning используются активно за рубежом и начали использоваться и в нашей стране (например, в Интернет-университете информационных технологий http://www.intuit.ru).

Хотя возможности m-Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.