Шкалирование и интерпретация результатов тестирования

6.2. Выравнивание результатов тестирования

Выравнивание результатов – процедура, которая устанавливает связь между баллами испытуемых по различным вариантам теста, и помещает их на одну шкалу. Выравнивание необходимо, например, при:

• разработке банка (базы) заданий;
• мониторинге, сравнении достижений обучаемых в различные моменты времени;
• адаптивном тестировании.

Так как в банке находятся задания с известными, откалиброванными параметрами, а из них формируемы различные эквивалентные варианты теста, то выравнивание вариантов теста также имеет целью отобразить оцененные параметры на общую шкалу.

Цель выравнивания – разместить на общую шкалу меры испытуемых, выполнивших различные варианты теста. Цель создания банка заданий – разместить на общую шкалу параметры заданий для выполняемых различных вариантов теста. Эти цели часто связаны и достигаемы параллельно.

Линейное выравнивание – это процедура преобразования в новый промежуток с помощью линейного преобразования и приравнивания стандартных Z-показателей для испытуемых с одинаковым уровнем подготовки, выполнившим различные варианты теста:

где x- балл испытуемого по первому варианту, и - среднее значение и среднее квадратичное отклонение баллов по этому варианту; и - аналогичные параметры для второго варианта.

Главная задача IRT – шкалирование тестов и испытуемых. Цель – разница в успешности задания не должна зависеть от сложности задания и должна определяется только способностями, уровнем обученности испытуемого. В основной модели (Раша) этой теории, отношение трудности заданий не зависит от уровня способности испытуемого.

В модели IRT уровни подготовленности испытуемых и уровни трудности заданий теста представимы с помощью единой метрической шкалы (с одинаковой точностью измерения) – шкалы логитов. Для каждого варианта теста – со своей шкалой: шкала логитов является интервальной, не имеет абсолютного нуля. Поэтому эта шкала позволяет перенести оценки параметров и испытуемых, и заданий в единую шкалу и выровнять показателей.

При этом происходит связывание двух тестовых вариантов с помощью их общей части, а общих испытуемых – с помощью испытуемых, выполнивших оба варианта теста.

Процедуры выравнивания:

• автономная калибровка всех вариантов и последующее преобразование мер в общую шкалу;
• параллельная калибровка всех вариантов и получение мер в общей шкале;
• автономная калибровка всех вариантов, фиксация общих параметров и последовательное преобразование всех параметров в общую шкалу.

При конструировании качественного теста, нужно получить характеристические кривые заданий теста, которые путем анализа позволяют выбраковывать избыточные задания. Если этих кривых нет, то следует регулировать задания недостающей трудности, приводя к равномерному заполнению интервала шкалы логитов от –6 до +6. Это осуществляется итерационным добавлением (убавлением) заданий требуемой трудности, например, пока разработчик не останется доволен распределением результатов.

6.3. Сертификация аттестационных тестов

Цель сертификации – повышение качества образования с помощью повышения качества тестирования, идентификация уровня качества сертифицируемых материалов, разработка рекомендаций по их эволюции.

Сертификацию осуществляет Центр сертификации качества педагогических тестовых материалов, эксперты и программные средства.

Объекты и совокупности сертификации:

• тестовые задания (варианты тестов);
• автоматизированные системы (базы) и компьютерные банки тестовых заданий;
• методики и технологии тестирования;
• инструментальные средства (оболочки) для генерации, предъявления и оценки тестовых заданий (тестов);
• программы математико-статистической обработки результатов тестирования;
• спецификация и другая сопроводительная документация к тесту (методика генерации варианта, система и шкала оценивания, ключи ответов и др.).

Для сертификации аттестационного теста, его содержание должно полностью быть релевантным целям разработки, основная из которых – отображение требований ФГОС в части содержания теста, его полноты, пропорциональности, структуры, однородности, значимости, корректности, валидности и др.

Статистические данные о результатах тестирования, выполнения задания включают, как правило, распределение ответов всех испытуемых (процент) по дидактическим единицам (кодам), баллам; процент испытуемых выполнивших полностью, частично выполнивших, выполнивших неправильно, не приступавших и другие параметры.