Порядок разработки электронных образовательных ресурсов

3.5 Подготовка материалов для компьютерного контроля знаний и оформление теста

Подготовка тестовых заданий (ТЗ) для компьютерного контроля знаний - это сложный и кропотливый процесс. Проблема создания качественных тестовых заданий важна для образовательных учреждений любого уровня общего, среднего и высшего профессионального образования. Исследования ряда ученых показывают, что до 50 % тестовых заданий, составляемых преподавателями без экспериментальной проверки, не пригодны для определения уровня знаний обучаемых. В разделе 2.5 даны основные рекомендации по составлению ТЗ и перечислены наиболее часто встречающиеся ошибки их разработчиков. Здесь уделим основное внимание ряду практических вопросов составления содержания ТЗ, организации их апробации и тестирования обучаемых.

При подборе материалов и составлении ТЗ следует придерживаться следующих правил:

• содержание ТЗ должно быть ориентировано на проверку значимых понятий и элементов содержания конкретного учебного курса;
• основные термины тестового задания должны быть ясно определены;
• тестовые задания должны быть сформулированы в виде кратких суждений и четко поставленных вопросов;
• следует избегать контрольных заданий, которые требуют от испытуемых развернутых заключений при выполнении контрольных заданий;
• при разработке ТЗ можно применять графические и мультимедийные компоненты не только с целью представления содержания учебного материала, но и при постановке контрольного задания, требующего графической формы ответа;
• содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний;
• в тексте задания не должно быть непреднамеренных подсказок и сленга;
• не следует включать в текст ТЗ прямые цитаты из книг;
• недопустимы заключения типа: все выше перечисленное верно, все указанные ответы неверны и т.д.;
• в ТЗ не должна использоваться терминология, выходящая за рамки учебной дисциплины;
• задание должно быть составлено с учетом того, что среднее время формирования заключения тестируемого со средним уровнем подготовки не должна превышать 2-х минут.
• количество ТЗ для начала нормальной работы желательно иметь порядка 200-300 заданий по конкретному учебному курсу, т.е. в расчете на ЭОР по данному курсу;
• при подборе материала для ТЗ следует учитывать, что все задание должно размещаться на экране без прокрутки;
• при разработке задания не следует делать ответ регистрозависимым.

Среднее время ответа студента на ТЗ определяется установкой преподавателя – автора контрольного задания. Оно выполнения задания определяется эмпирически при апробации теста. Кроме того, при тестировании часто вводят временное ограничение на тест в целом, т.е. время в течение которого обучаемый при среднем уровне подготовки должен ответить на все ТЗ.

Важным этапом подготовки ТЗ является их экспериментальная проверка – апробация. Эту процедуру следует начинать с тщательного анализа формулировок ТЗ в соответствии с изложенными выше правилами и выстраивание ТЗ в порядке предполагаемой трудности. В процессе апробации необходимо предусмотреть возможность пропуска сложных ТЗ, чтобы обратиться к ним после окончания работы над другими ТЗ.

На этом этапе желательно иметь максимальный набор различных тестовых заданий. Задания различного типа уменьшают утомляемость и позволяют включить в процедуру тестирования большего числа ТЗ. Задания различного типа более объективны для контроля знаний и для различных разделов ЭОР могут быть полезны различные типы заданий. В то же время, если тестирование имеет локальные цели, следует включать в тест задания одного типа.

Результаты апробации порой приводят к отбраковке до 40 –60 % ТЗ, поэтому банк заданий должен быть достаточно большим. Целями апробации тестовых заданий являются определение трудности задания и оценка их пригодности; определение заданий, которые имеют существенные недостатки; определение временных параметров выполнения заданий; анализ норм тестовых заданий; выявление случайных ошибок и неточностей.

В общем виде качественную картину теста в целом поясняет рис. 3.33, где в графическом виде отражены понятия простого теста (1), нормального (2), сложного (3) и неудачного (4).

Рис. 3.3.

Совершенствование разработанного теста осуществляется на этапе апробации в следующей последовательности:

• задания, выполненные всеми испытуемыми, исключаются из теста (не более одного задания);
• задания, с которыми не справился ни один из испытуемых, также исключаются.

Обычно, трудность задания определяется в процентах лиц (или в условных единицах от 0 до 1), давших на него правильный ответ. Чем легче задание, тем выше процент справившихся с ним. Если же ни один из тестируемых в выборке не справляется с тестовым заданием, то подобное задание следует исключить из теста, так как оно не несет никакой информации об индивидуальных различиях.

В результате в тесте должны остаться ТЗ, с которыми справились один или несколько человек.

Потом проводится анализ с целью определения не корректно сформулированных ТЗ - это легкие задания, с которыми не справился сильный учащийся. Скорее всего, формулировка таких ТЗ не совсем понятна обучаемым и их также следует исключить из состава ТЗ.

Чем ближе трудность задания к 1,00 (100%) или к 0, тем меньшую информацию несет оно о дифференциации учащихся и студентов в учебных учреждениях. Чем ближе уровень трудности задания к 0,50 (50%), тем большими различительными возможностями обладает ТЗ. Трудность (сложность) является особенностью не только тестового задания, но и теста в целом. Тест может состоять как из простых ТЗ, так и из сложных. В общем виде трудность (сложность) является статистической категорией.

Системы оценивания знаний учащихся должны вытекать из целей тестирования. Для тестов, ориентированных на критерий, считается важным, что испытуемый, превысил заданный критерий и в этом случае результат считается успешным. Для нормативно- ориентированных тестов основанием для сравнения тестовых показателей являются статистические нормы. Особенно важно подобное сравнение при текущем, итоговом и рубежном контролях. Тестовые оценки могут формироваться по 100 или пятибалльной системам. При использовании последней перевод, как правило, осуществляется по следующей схеме:

• оценка "5" ("отлично") выставляется испытуемым за верные ответы, которые составляют 91 % от общего количества вопросов;
• оценка "4" соответствует работе, которая содержит от 71 % до 90 % правильных ответов;
• оценка "3" соответственно от 70 % до 50 % правильных ответов;
• работа, содержащая менее 50 % правильных ответов оценивается как неудовлетворительная.

Для повышения объективности результатов тестирования, при его организации следует выполнять следующие правила:

• случайный набор вопросов в тесте;
• случайный порядок вопросов в тесте;
• случайный порядок ответов в вопросе;
• ограничение времени на одно ТЗ;
• ограничение времени тестирования (на все ТЗ).

Следует учесть, что для предотвращения возникновения у тестируемых комплексов и боязни компрометации в глазах товарищей не рекомендуется публично объявлять в учебных группах аутсайдеров и количество допущенных ими ошибок.

Тест по каждой дисциплине должен сопровождаться документом, являющимся описанием и именуемым спецификацией. В спецификации каждого теста должна быть представлена следующая информация:

• название дисциплины;
• специальность, для которой разрабатывается тест (для высшего и среднего специального образования);
• протокол методической комиссии утверждения разработанных тестов;
• автор разработки;
• учебное заведение, в котором проведена разработка;
• вид проверки - входная, текущая, итоговая.
• содержательная структура теста - перечисление разделов учебного курса с указанием количества ТЗ, входящих в тест;
• принцип формирования теста - строгий порядок, по возрастанию меры трудности заданий, случайный выбор и т. д;
• шкала и правила оценивания результатов тестирования;
• дата завершения разработки теста или его актуализации.

В заключение надо отметить, что при разработке тестовых материалов для обеспечения интероперабельности тестовых материалов необходимо обеспечить их соответствие стандартам тестирования, наиболее распространенным среди которых является IMS QTI. Данный стандарт определяет требования к тестовым материалам, сценариям тестирования и представлению результатов тестирования.

Документирование результатов тестирования сильно зависит от используемой системы тестирования, но к числу наиболее широко используемых документов можно отнести следующие: ведомость учебной группы, протокол тестирования для каждого обучаемого, таблица выполнения теста каждым обучаемым, где подсчитывается средняя величина степени выполнения теста, а также множество других дополнительных документов, заложенных в систему ее разработчиком.

Контрольные вопросы для самоподготовки

1. Назовите основные два этапа разработки ЭОР.
2. Перечислите основные критерии выбора инструментальной системы для разработки ЭОР.
3. Назовите две инструментальных системы для разработки ЭОР и дайте им краткую характеристику.
4. Что такое сценарий электронного учебника?
5. Какие два вида сценариев существуют?
6. Какие два способа представления мультимедиа технологии существуют?
7. Какие существуют два способа представления изображения в компьютере?
8. Что такое юзабилити?
9. Какими основными свойствами должен обладать пользовательский интерфейс ЭОР?
10. Какое количество цветов рекомендуется при организации интерфейса ЭОР?
11. На какие две группы делятся программы для работы со звуком?
12. Что такое графические редакторы?
13. В чем различия 2D и 3D анимации?
14. Чем характеризуется простое, нормальное и сложное ТЗ?
15. Какие правила следует выполнять для повышения объективности результатов тестирования при его организации?