Оценка качества тестовых заданий

4.3. Требования к качеству компьютерного тестового испытания

Способности тестов и КИМ являться эффективным средством оценки уровня подготовки обучаемых, при использовании компьютерных и адаптивных систем тестирования актуализируются сильно, так как появляются расширенные возможности для оперативного и динамичного накопления и обработки результатов такого тестирования. Это важно также для формализации и алгоритмизации такого оценивания.

Требования к тестам (тестовым заданиям), методикам и технологиям компьютерного тестирования (коротко, "Требования") должны обеспечить не только качественное тестирование, но объективность оценок его результатов, возможность оценивания степени обученности согласно российским и международным стандартам образования.

Аттестация и аккредитация образовательных учреждений производится по компьютерным тестам, утверждаемым соответствующими УМО и имеющим возможности (для УМО) актуализировать, выбирать, дополнять и совершенствовать представительную базу тестовых заданий (тестов) и технологий тестирования, в зависимости от специфики и возможностей образовательных учреждений.

Базовые требования к содержанию тестов – их соответствие ГОС (содержанию, целям, структуре) и компьютерным технологиям тестирования (возможностям, безопасности, обеспечению), а также использованию веб-технологии и мультимедиа.

Обеспечивается преемственность тестов, их прагматичность и корректность, опора на необходимый объем остаточных знаний. Если строго и полно, то и учет методики обучения, так как в зависимости от нее изменяются и остаточные знания (для традиционной лекции – меньше, для мультимедийной – больше "сухого остатка", т.е. структурированного остаточного знания).

Базы тестовых заданий должны содержать все атрибуты, необходимые для компьютерной актуализации заданий:

• содержательная часть (цели, гипотезы тестирования, предмет, автор, структура, спецификация, дата сертификации, дата утверждения и др.);
• качественные показатели (объем базы, рекомендуемая длина тестов, валидность и др.);
• другие характеристики тестовых заданий (физическое размещение, носитель, объем, имя и размер файла и др.).

Пример. Важными примерами могут служить банки КИМ ЕГЭ, ФЭПО (Федерального экзамена в области высшего профессионального образования), АСТ (Адаптивной среды тестирования) и др.

База проходит экспериментальную проверку, определяются показатели валидности, критерии и показатели оценивания, которые фиксируются в документации к базе.

Процесс тестирования должен обеспечивать (кроме дружественности интерфейса к испытуемому, регулируемости им темпа тестирования и возврата к пропущенным заданиям) регистрацию результатов, протоколирование заключений испытуемых, оценку достижений испытуемого по результатам пройденного тестирования, автоматическое нахождение результата тестирования и его шкалирование.

Госкомиссии должны проводить компьютерное тестирование лишь только в соответствии с Требованиями, по базе. Контроль за соблюдением Требований осуществляет региональный Центр тестирования профессионального образования.

Особая роль отводится персоналу, проводящему тестирование. Методисты-тестологи должны владеть основными знаниями в области:

• тестового контроля (в частности, классификацией и ограничениями использования тестов, основными различиями подходов к тестированию);
• структурирования содержания "тестируемого" учебного материала;
• требований, форм, характеристик, состава и структуры тестовых заданий, этапов разработки тестов;
• методов вычисления статистических параметров заданий (тестов), результатов тестирования и их шкалирования;
• принципов сертификации тестов (КИМ);
• организации, нормативно-методического обеспечения и методики проведения экспертизы качества материалов.

Методисты-тестологи должны уметь:

• обосновывать цели выбора типа теста, метода его разработки, тестирования, их роль и место в учебном процессе;
• проектировать целеориентированный тест;
• разрабатывать тестовые задания, тест;
• находить и интерпретировать главные традиционные характеристики тестовых заданий (теста), результатов тестирования;
• разрабатывать методическую поддержку теста для тестируемых;
• проводить комплексную экспертизу КИМ, тестовых материалов;
• оценивать качество тестовых заданий согласно данным их апробации, описывать статистические выводы из результатов тестирования.

Методисты-тестологи должны владеть:

• основными понятиями педагогического тестирования;
• критериально- и нормативно-ориентированными подходами к разработке теста;
• правилами разработки тестовых заданий (заданий в тестовой форме);
• основами математико-статистических методов обработки результатов тестирования;
• элементами ресурсного обеспечения педагогического тестирования.

Идет развитие компьютерного и веб-тестирования, а также облачных вычислений и средств тестирования и оценки его результатов.

Пример. Такими системами являются "Школьный мониторинг", "TestEdit 2.1", "AnyTest", "УСАТИК 2.000", "TESTOR.RU", "TESTER" и другие.

Появление развитых систем стимулирует и формирование методологии тестовой квалиметрии, появление новых методик и алгоритмов экспертизы качества тестовых материалов и оценочных средств.

Идеальная система тестирования – саморазвивающаяся. Она структурно и содержательно гибко адаптируется к потребностям образовательной системы и окружающей среды. Переход к открытым и дистанционным формам приводит к новым формам и методам, новым мероприятиям и технологиям, новому интерфейсу и контенту.

Пример. Рабочая программа ЕС (FP7, 2009–2010) по информационным и коммуникационным технологиям считает, что адаптивные обучающие и тестирующие системы – инновационные решения, способные к самонастройке (самоорганизации) в ответ на действия системы и ожидает разработки и исследования концептуальной модели, использующей инновационные подходы, искусственный интеллект, моделирование, педагогика сотрудничества, компетентностный подход.