Оценка качества тестовых заданий

4.2. Комплексное оценивание качества тестового испытания

При комплексном оценивании качества тестового испытания (тестирования) проводится оценка:

• соответствия его минимуму содержания ГОС (учебной дисциплины);
• соответствия целям изучения учебной дисциплины;
• качества сопровождающих нормативных документов (спецификация, кодификатор и др.);
• соответствия формы и содержания морфологических и синтаксических единиц заданий их аналогам в ГОС, по учебной дисциплине;
• профессионализма преподавателей, меры их тестологической, технологической и прагматической культуры при контроле результатов учебных достижений обучаемых;
• аналитического, критического подхода при идентификации качества образовательных достижений обучающихся;
• информации о качестве измерителей для решения задач стандартизации баз тестовых заданий (тестов).

Комплексная экспертиза качества тестовых материалов (например, КИМ ЕГЭ) состоит из следующих основных этапов (см. рис. 4.3):

• предварительная их экспертиза, отбор материала согласно требованиям к тестам;
• экспертное их оценивание (или внутренняя экспертиза), проводимое после составления "стартового" варианта теста;
• тестологическая их экспертиза, проведение апробационного тестирования, расчет результатов статистических и иных характеристик качества тестовых заданий (тестов).

Рис. 4.3. Этапы комплексной экспертизы качества тестовых измерителей (ТИ). (по работе: Пермяков О.Е., Максимова О.А. Процедуры комплексной экспертизы качества тестовых заданий и тестов при формировании банка данных, http://jurnal.org/articles/2008/ped14.html)

Предварительная экспертиза состоит из оценивания:

• спецификации, кодификатора теста;
• соответствия заданий (материалов) формальным требованиям для них, корректности формулировок тестовых заданий.

Экспертное оценивание качества материалов – четырехэтапное. Первый этап включает анализ (оценку):

• семантики, корректности формулировки задания (текст, графика, таблицы), адекватность учебной программе (точность отражения событий, объектов, процессов; корректность и соответствие содержания тестового задания дидактическому модулю учебной программы);
• композиции тестового задания (единства формы и содержания, семантической нагрузки на задание, включая инструкции и вспомогательные компоненты – таблицы, графику);
• функциональный (диагностическая, прогностическая, коррекционная, воспитательная, обучающая нагрузка на задание);
• вербальный (грамматическая четкость, логичность формулировки, восприятия тестового задания для тестируемых).

Второй этап включает прогноз успешности выполнения тестового задания в различной степени подготовленными обучающимися, формирование нормативов выполнения задания (теста). Включает:

• выделение логических операций, которые соответствуют результатам когнитивных действий обучаемых;
• фиксация ориентировочного времени, необходимого для выполнения задания.

Третий этап – анализ, оценивание всего теста по критериям, включает оценку:

• соответствия теста целям обучения и гипотезам тестирования (модели тестируемого);
• доступность теста тестируемому (содержания и инструкций заданий);
• валидность теста (наличие по проверяемому учебному материалу необходимого количества тестовых заданий, по кодификатору учебной дисциплины, спецификации теста, учет психологических особенностей целевой аудитории и целевого уровня усвоения, репрезентативность и значимость);
• композиция, внутренняя согласованность заданий в тесте согласно его назначению (сочетаемость, сбалансированность по сложности заданий, структурная и дидактическая полнота, целостность и иерархичность заданий);
• эффективность формы тестирования (бланковое, компьютерное, адаптивное, ситуационное).

Четвертый этап – оформление экспертных оценок, суждений, рекомендаций по модификации и доработке задания. Результаты экспертизы представляются (протоколируются) строго, формализовано (в баллах, в выбранной шкале), доступно и понятно как экспертам, так и тестологам, с оценкой пригодности теста для испытаний, обучения.

Для комплексной экспертизы заданий (тестов) необходимо проведение апробационного тестирования на репрезентативных выборках. После такого тестирования последовательно осуществляется:

• формирование матрицы ответов, в которой строка соответствует испытуемому, столбцы – заданиям теста, элементы таблицы – ответы, задаваемые в некоторой шкале или двоичные (0 – не выполнено, 1 – выполнено);
• обработка матрицы ответов (трудность-легкость, дискриминативность, коэффициенты корреляции дистракторов с эталонами ответов);
• расчет валидности теста с помощью корреляции показателей теста и определенных внешних критериев;
• расчет парных корреляции (задания с заданием, попарно) для оценки внутренней согласованности всего теста;
• оценка параллельности вариантов тестов (при апробационном тестировании) для анализа объективности и надежности тестирования;
• оценка показателей надежности самого теста (точности измерения им уровня учебных достижений обучаемых).

Параллельный тест – это вариант, имеющий аналогичное содержание (согласно учебной единице), равные значения статистики (средние арифметические, дисперсии и парные корреляции).

Простой способ его использования: нечетные номера заданий – первая половина теста, четные – вторая.

Заключительный этап экспертизы – формирование самой комплексной оценки качества теста (задания). Реализуется этап с помощью процедур:

• составление таблицы показателей качества по данным, полученным на предыдущих этапах;
• формирование комплексных показателей качества;
• нормирование показателей;
• нахождение доверительных интервалов оценок;
• формирование вербальной (числовой) шкалы качества;
• составление итогового заключения-рекомендации по применению тестовых материалов, по их корректировке (доработке) с указанием причин.

Классическая тестология долго рассматривала лишь эмпирические показатели трудности. Сейчас много внимания уделяется и характеру умственной деятельности тестируемых.

Актуальна разработка методик, моделей оценивания:

• тестов на многозначных лингвистических шкалах;
• согласованности экспертов, тестологов, технологов по сконструированным тестовым заданиям и технологии тестирования, по уровню профессионализма;
• объективности самого процесса педагогического тестирования;
• на основе нечетких, многопараметрических, статистических и нейро-системных процедур по всем дисциплинам. Не менее актуальны проблемы:
• Тестирование как сервис (ТaaS) – услуга, предоставляющая тесты и базы тестов, методики проектирования, реализации и анализа результатов тестирования в прикладной сфере и образовании, например, предоставление соответствующей услуги ФЭПО университетам страны;
• Тестовая система как сервис (TSaaS) – услуга, предоставляющая виртуальную платформу для тестирования (подкласс класса PaaS), например, через "облака";
• Программное обеспечение как сервис (STaaS) – услуга, предоставляющая полнофункциональную тестовую оболочку, например, через Web-браузер.