Оценка качества тестовых заданий

4.1. Качество тестирования: основные факторы и меры

Современная тестология признает, что качество тестирования зависит от многих параметров, но основой фактор – качество разработки тестов, их валидность. Для повышения качества тест-материалов, начиная с этапа их проектирования и разработки, уже используется экспертиза.

Тестовые задания, удовлетворяющие "внешним" формальным требованиям (правильность формулировки, логическая непротиворечивость, адекватная форма и др.) не являются всегда качественными, позволяющими рассматривать такие задания априори или апостериори как эффективное средство оценки уровня подготовки обучаемых.

Тестовые задания (тесты) измеряют свойства тех или иных выборок потенциальных испытуемых. Экспертиза качества заданий и всего теста – это оценка не только каждого его элемента (дистракторы, их количество и др.), но и всего теста, его структуры, взаимоотношений с другими заданиями.

Качество профессионального образования – это и уровень, объем знаний, их системность, устойчивость, ценность, перспективность, фундаментальность, способность получать и строить новые знания, применять их для решения задач. Эффективное управление качеством образования также невозможно без релевантной и оперативной информации об уровне обученности. Необходимо применение качественных тестовых материалов, достоверно оценивающих учебные достижения.

Применение принципов и средств квалиметрии, системного анализа акцентирует на целостность, эмерджентность, совместимость, адаптивность и другие системные признаки тестов. Качество тестов оценивают мерой соответствия характеристик тестовых заданий и составленных на их основе вариантов тестов. Комплексной оценкой теста (испытания) в целом.

У тестовых заданий, всего теста есть структурные элементы, характеризуемые внутренними и внешними свойствами, своей структурой. На эти свойства влияют определяющим образом много факторов:

• генеральная совокупность и выборки испытуемых;
• показатели качества;
• особенности технологии тестирования;
• особенности обработки, анализа результатов тестирования (в частности, используемые математико-статистический аппарат и эвристические процедуры);
• квалификация экспертов и профессиональность экспертной группы;
• системный подход к проведению и анализу тестирования.

Полный учет свойств позволяет сконструировать "желаемые" тесты – тесты с наперед задаваемыми (согласно гипотезе тестирования) качествами, статистическими свойствами, например, "параллельные" тесты, субтесты и др. Нужно учитывать также меру дифференциации, способность заданий (тестов) дифференцировать тестируемых, например, способность дифференцировать относительно максимального или минимального уровня обучения.

Первостепенно важны для анализа такие характеристики, как трудность (сложность) задания и его различающая способность. Трудность задания отражает уровень ее выполнимости в данной статистической выборке (стандартной). Ее оценивают часто отношением количества правильно выполнивших задание к количеству выборки испытуемых.

Чем ближе этот показатель к 1, тем выше трудность задания, чем ближе к 0 – тем ниже его трудность.

В качестве показателя трудности задания теста используют индекс трудности U вычисляемый по формуле:

где n – количество правильно ответивших на задание, N – общее количество испытуемых (выборки).

При построении критериально-ориентированного теста, для повышения его трудности добавляют задания более высокой трудности, для понижения – включают больше заданий низкой трудности.

Трудность задания (теста) бывает:

• субъективная, связанная с обстоятельствами типа лимит времени, знание технологии, понимание условий (сформированность знаний, умений и навыков), психическая готовность и т.д.;
• объективная (статистическая), связанная с долей испытуемых из выборки, решивших задание (тест).

Трудность – относительная величина, зависящая от возрастных, профессиональных и иных различий испытуемых, поэтому эти особенности влияют на результаты тестирования, на надежность теста. Необходимы меры выравнивания условий (минимизации таких воздействия на тестируемых). Для этого используют направленное комплектование выборки, стандартизацию процедуры тестирования, т.е. необходима эффективная диагностическая методика, приводящая к "золотой середине", балансу трудных, среднего уровня и простых заданий.

Слишком трудные задания ухудшают статистические характеристики оценивания (мало решающих, неудача на трудном задании может повлиять на решение других заданий и т.п.). Слишком простые задания ведут к малоинформативным однообразным результатам, затрудняющим анализ качества обучения, вызывают негативное отношение испытуемых к тесту и тестированию.

Пример. Критериально-ориентированный тест должен быть полным, отражающим по содержанию весь объем знаний, планируемый к усвоению. Нормативно-ориентированный тест может содержать лишь те разделы, которые требуются для дифференциации по уровню учебных достижений обучаемых, например, 50-70% заданий средней трудности (рис. 4.1, рис. 4.2).

В критериально-ориентированных аттестационных тестах основная часть заданий легче, что ограничивает процент неаттестованных студентов.

Пример. Если прогнозный процент неаттестованных должен быть не больше 10%, а критерий "неуспеваемости" – 70% (выполнившие лишь до 30% заданий – не аттестованы), в тест следует включить от 70% легких заданий, посильных 90% тестируемых (рис. 4.2).

Рис. 4.1. Распределение заданий в нормативно-ориентированном тесте (по работе: В.И. Звонников, М.Б. Челышкова. Современные средства оценивания результатов обучения. М.: Академия, 2007).

Рис. 4.2. Распределение заданий в критериально-ориентированном тесте (там же)

Поэтому важно выбрать тест, оптимальный по сложности заданий, группам сложности, структуре теста. Если на вопрос правильно отвечает большинство испытуемых, его обычно помещают в начале теста, а остальные вопросы – по мере роста их трудности. Такое расположение заданий позволяет оценить приблизительно порог трудности для каждого испытуемого, его место в рейтинге.

Практическое тестирование свидетельствует: максимально отражается индивидуальный уровень знаний, навыков, умений испытуемых при использовании заданий средней трудности с включением небольшого количества остальных заданий.

Есть специальная характеристика, называемая различающей способностью заданий. Она показывает меру эффективности различения тестируемых на группы: овладевшие учебным материалом и не овладевшие им.

Возможна и промежуточная группа. От значения данной характеристики сильно зависит валидность теста.

Определяется различающая способность задания на пилотном тестировании и для него потребуются две серии измерений: а) повторное тестирование; б) тестирование на разных выборках.

Меру различения (различающую способность) R можно в самом простом выражении определить по формуле:

где N, M – количество испытуемых, попавших, соответственно, в "высокую" и "низкую" контрастные группы, а n, m – верно ответивших, соответственно, на задание из "высокой" и "низкой" группы.

Чем ближе R к значению +1, тем больше различающая способность задания.

Чем ближе R к нулю, тем меньше различение заданием испытуемых, овладевших или не овладевших учебным материалом.

Чем ближе R к значению –1, тем также больше различение, но в инверсном порядке: испытуемые, овладевшие материалом, ответили неправильно, и наоборот. Это редкий случай, он свидетельствует, например, о пробелах в методике, спонтанности ее.