Оценка качества тестовых заданий

4.4. Методика экспертизы и работа экспертной группы

Во время экспертизы тестовые материалы оцениваются на соответствие критериям (показателям) качества.

Экспертиза качества тестовых материалов – обязательный этап тестирования (в широком смысле). Необходим комплексный подход к экспертизе на основе системного анализа и квалиметрии.

Эксперт должен внимательно ознакомиться со спецификацией теста, провести анализ содержания теста, в основном, ориентируясь на образ тестируемого, имеющего средний уровень подготовки. Эта работа направлена, в основном, на выявление неудачных заданий, их доработку в плане содержания и включает оценивание:

• правильных ответов и дистракторов тестовых заданий;
• релевантности содержания заданий (соответствия требованиям уровня учебных достижений и тестирования) с помощью сопоставления содержаний заданий теста и перечня требований (входит в КИМ, выдается эксперту);
• уровня заданий (базовый, повышенный, высокий) и значимости их содержания (соответствие ключевым элементам для усвоения курса по требованиям ГОС, не обращая свое внимание на "пересечения" отдельных элементов содержания в некоторых заданиях);
• потенциального процента выполнения теста испытуемыми (как минимум, имеющих удовлетворительную подготовку);
• потенциального процента успешного выполнения теста всеми в выборке.

Эксперт выполняет анализ качества содержания теста, используя параллельные варианты, объединяя и обобщая информацию по всей такой группе вариантов. В этом случае оценивание качества вариантов тестов выполняется по критериям:

• процент охвата требований к уровню обученности каждым вариантом и всеми вариантами в группе (для содержательной валидности теста, обоснованности оценок результатов по тесту);
• процент заданий, ориентированных на тот или иной раздел содержания или "пропорциональность" содержания теста, правильность отображения в нем содержания учебной дисциплины (эксперты выносят свое суждение по оптимальности сочетания разделов, например, находят меру разброса экспертных суждений от классификаторов и мнений разработчиков);
• процент соответствия заданий теста и спецификации (содержания и спецификации) теста.

После этого эксперт делает выводы и рекомендации по улучшению содержания теста.

Пример. В ФИПИ разработали модель экспертизы качества КИМ ЕГЭ. Она включает, в частности, содержательную экспертизу тестовых заданий в отдельности, экспертизу собранных вариантов и тестологическую экспертизу. В течение ряда лет сформирован предварительный банк заданий (разработаны в рамках целевого заказа или всероссийского конкурса по разработке элементов и КИМ базы заданий ЕГЭ). Затем задания оценивали два эксперта – на предмет содержательной валидности. При рассогласованности мнений двух экспертов приглашался третий (все они – специалисты-методисты, члены предметной комиссии). Далее формируются варианты КИМ, которые затем проходят внутреннюю содержательную экспертизу и, в случае отсутствия замечаний к содержанию, отправляются на внешнюю экспертизу, которая проводится также двумя экспертами. По их заключению вносятся необходимая коррекция, совершенствуется КИМ. После этого проводится вторая внешняя экспертиза. Проводится и тестологическая экспертиза КИМ по итогам тестирования (для обеспечения качества отдельных заданий и вариантов, соответствия вариантов спецификации и параллельности всех вариантов). Итак, каждое задание (каждый вариант) проходит 8 уровней экспертизы и доработки (сборка вариантов; внутренняя экспертиза; тестологическая экспертиза; первая внешняя экспертиза; вторая тестологическая экспертиза; вторая внешняя экспертиза; замечания редактора и корректора; проверка ответов и подготовка оригинал-макетов).

Кроме многих достоинств, есть и недостатки экспертной оценки качества тестов, в частности, "за бортом" часто остаются оценки внутрисистемных отношений тестовых заданий в тесте, недостаточно эффективно апробационное тестирование (оно больше "ознакомительное"), не учитывается компетентность и согласованность мнений экспертов в группе.