Шкалирование и интерпретация результатов тестирования

6.1. Основные шкалы и принципы

Разработка тестов и тестирование всегда приводит к необходимости выбора шкалы, по которой будет оцениваться качество выполнения теста. Классическая шкала – мало дифференцирующая, с большой долей субъективизма.

Первичная информация при тестировании обучаемого – его первичные ("сырые") баллы. Они наглядны, просты, но существенно зависят, например, от трудности заданий. Необходима более объективная шкала оценок подготовленности обучающихся, необходимо подтверждение уровня обученности на различных тестах, с заранее определенным уровнем трудности заданий.

Также следует избавиться и от нелинейности первичных баллов по отношению к уровню подготовленности.

Пример. Шкала оценок в школе позволяет заключить лишь то, что ученик Иванов учится лучше ученика Петрова. Каковы их различия, успехи, усилия и т.д.? – Такая шкала ответа на подобные вопросы не дает. Аналогично, первичные баллы лишь упорядочивают участников тестирования.

В таких порядковых шкалах основные статистики – медиана, квантили и ранговая корреляция.

Позиционирование испытуемых на числовой оси согласно результатам испытаний осуществляется различным образом. Поэтому используются различные типы шкал оценок, например, следующие.

Шкала итоговой оценки – шкала, определяемая по минимальной и максимальной оценкам (баллам), это линейное преобразование отрезка от минимальной до максимальной оценки; например, шкала 100-балльная.

Шкала нормативная – шкала, вводимая на основе справедливости гипотезы о нормальном законе распределения баллов; например, перевод в нормативную шкалу предполагает, что знания испытуемых в их произвольной выборке подчиняются нормальному закону распределения, следовательно, равным отрезкам под кривой нормального распределения соответствуют равные количества верных ответов.

Шкала порядковая, качественная, отношений – шкала для введения отношений порядка в совокупность шкалируемых объектов, систем и выполнения всех преобразований, не нарушающих это правило порядка; например, шкала оценок в средней школе – 2, 3, 4, 5 и в высшей школе – "неудовлетворительно", "удовлетворительно", "хорошо", "отлично".

Шкала номинальная (наименований) используется экспертами при классификации эмпирических объектов измерения. Такая шкала применяется тогда, когда педагогическое измерение группирует обучающихся без установления порядка следования групп; например, деление студентов на группы сдавших и не сдавших зачет.

Пример. Если тестируемый за правильный (неправильный) ответ по заданию получает 1 (0), то результаты тестирования представляются в номинальной шкале.

Шкала интервальная – шкала, в которой допустимы лишь линейные функции преобразования, и в которых часто нельзя отметить ни начало, ни конец, ни единицу измерения (градацию) шкалы; например, температурные шкалы Фаренгейта и Цельсия связаны зависимостью: С = 5/9 (F – 32), С – температура (в градусах) по шкале Цельсия, F – температура по шкале Фаренгейта.

Интервальная шкала – шкала количественная, для упорядочения данных (объектов) согласно отношениям эквивалентности, порядка и аддитивности. В ней определена метрика (начало отсчета, единица измерения и понятие расстояния между данными, объектами), поэтому решаема задача сравнения результатов тестирования.

У качественных шкал низкая точность измерения, у количественных – выше объективность.

Структура типов и уровней измерения приведена на рис. 6.1 .

Часто используемая в тестологии шкала логитов переводится обычно в шкалу тестовых баллов.

Пример. Если участник ЕГЭ не выполнил ни одного задания и получил 0 первичных баллов, он получает ноль тестовых баллов, если же он выполнил все задания и получил максимально возможный первичный балл, он получает 100 тестовых баллов. Тестовые баллы остальных участников ЕГЭ вычисляются с помощью линейного преобразования, переводящего отрезок шкалы логитов, ограниченный оценкой в логитах, соответствующей одному первичному баллу и оценкой в логитах, соответствующей первичному баллу, на единицу меньшему максимально возможного в отрезок на шкале тестовых баллов от шести до девяноста четырех включительно. Например, формула перевода шкалы логитов в шкалу тестовых баллов может иметь вид:

где Т – тестовый балл, х – оценка уровня подготовленности участника ЕГЭ в логитах, x_min- оценка в логитах, соответствующая одному первичному баллу, x_max- оценка в логитах, соответствующая первичному баллу, на единицу меньшему, чем максимально возможный балл, [x] – целая часть х.

В нормативно-ориентированных тестах ставится задача определения рейтинга тестируемых в группе. Это место, естественно, зависит от "фона" - группы. Используют нормы, отражающие результаты тестирования для представительной выборки испытуемых.

Пример. Обычно для качественного такого теста около 70% результатов расположены в центре распределения ("под колоколом" кривой распределения) и имеют небольшую ошибку измерений, примерно по 5% (самых слабых и самых сильных результатов) в пологой части кривой распределения, они могут иметь очень большую ошибку измерения. Профессиональное тестирование, при обработке, эти концы или их части отбрасывает.

В критериально-ориентированных тестах ставится задача: сопоставить учебные достижения каждого испытуемого с запланированным для усвоения объемом знаний (умений, навыков). Это больше зависит уже от конкретно проверяемого содержания ГОС (программы).

Для устранения зависимости интерпретации результата тестированного от результатов в группе участников тестирования используются эмпирически, экспертно устанавливаемые нормы выполнения теста, с которыми сопоставляются первичные баллы конкретного испытуемого. Это процесс стандартизации теста, например, по среднему и стандартному отклонению индивидуальных баллов.

Часто используемые преобразования "сырых" баллов:

Процентили устанавливают ранг показателя испытуемого в нормативной группе, показывая процент испытуемых в нормативной выборке, имеющих результаты не выше данных первичных баллов. Шкала процентилей нелинейна (нелинейно изменяется отклик на изменение в шкале первичных баллов на один балл), поэтому она может даже искажать реальную ситуацию.

Так называемая Z-шкала переводит индивидуальные результаты в стандартную шкалу, которая характерна двумя основными общими параметрами: средним баллом и дисперсией. Z-оценку i-го тестированного находят по формуле:

где x_i первичные баллы испытуемого; $$\bar x$$– среднее значение в группе; $$\sigma_x$$– стандартное отклонение.

Эта шкала приводит баллы обучаемых по различным тестам к единому и удобному для сравнения виду.

Z-шкала неудобна для практического использования: баллы могут принимать вещественные значения (обычно от –3 до +3; отрицательность оценки указывает на то, что результат ниже среднегруппового); округлять их часто нельзя – теряется различающая способность, информативность.

Поэтому Z-оценки преобразуются с сохранением формы распределения по общей формуле:

где Z1 – новая, преобразованная оценка, М – новое среднее, $$\sigma$$- новое стандартное отклонение.

Пример. T-шкала (параметры $$M=10,\sigma=10$$) задается преобразованием: $$Z_1=50 + 10\cdot Z$$. Шкала СЕЕВ ($$M=500,\sigma=100$$): $$Z_1=500 + 100\cdot Z$$. Шкала IQ ($$M=100,\sigma=15$$): $$Z_1=100 + 15\cdot Z$$.

Шкалы результатов, например, от 1 до 10 – удобны и наглядны. Разбивая нормальное распределение на 9 интервалов, получаем шкалу станайнов со средней, равной 5, стандартным отклонением – около 2. В ней 4% наихудших результатов имеют станайн 1, наилучших – станайн 9, следующие (предшествующие) 7%, соответственно, станайны 2 и 8, далее 12% – станайны 3 и 7, 17% – станайны 4 и 6 и оставшиеся 20% средних результатов – станайн 5.

В шкале стенов, результаты делятся равномерно на 10 частей с интервальным расстоянием (между соседними единицами) – $$0.5\sigma$$, средним принимаемым равным 5,5.

6.2. Выравнивание результатов тестирования

Выравнивание результатов – процедура, которая устанавливает связь между баллами испытуемых по различным вариантам теста, и помещает их на одну шкалу. Выравнивание необходимо, например, при:

Так как в банке находятся задания с известными, откалиброванными параметрами, а из них формируемы различные эквивалентные варианты теста, то выравнивание вариантов теста также имеет целью отобразить оцененные параметры на общую шкалу.

Цель выравнивания – разместить на общую шкалу меры испытуемых, выполнивших различные варианты теста. Цель создания банка заданий – разместить на общую шкалу параметры заданий для выполняемых различных вариантов теста. Эти цели часто связаны и достигаемы параллельно.

Линейное выравнивание – это процедура преобразования в новый промежуток с помощью линейного преобразования и приравнивания стандартных Z-показателей для испытуемых с одинаковым уровнем подготовки, выполнившим различные варианты теста:

где x- балл испытуемого по первому варианту, $$\bar x$$ и $$\sigma_x$$- среднее значение и среднее квадратичное отклонение баллов по этому варианту; $$y,\bar y$$и $$\sigma_y$$- аналогичные параметры для второго варианта.

Главная задача IRT – шкалирование тестов и испытуемых. Цель – разница в успешности задания не должна зависеть от сложности задания и должна определяется только способностями, уровнем обученности испытуемого. В основной модели (Раша) этой теории, отношение трудности заданий не зависит от уровня способности испытуемого.

В модели IRT уровни подготовленности испытуемых и уровни трудности заданий теста представимы с помощью единой метрической шкалы (с одинаковой точностью измерения) – шкалы логитов. Для каждого варианта теста – со своей шкалой: шкала логитов является интервальной, не имеет абсолютного нуля. Поэтому эта шкала позволяет перенести оценки параметров и испытуемых, и заданий в единую шкалу и выровнять показателей.

При этом происходит связывание двух тестовых вариантов с помощью их общей части, а общих испытуемых – с помощью испытуемых, выполнивших оба варианта теста.

Процедуры выравнивания:

При конструировании качественного теста, нужно получить характеристические кривые заданий теста, которые путем анализа позволяют выбраковывать избыточные задания. Если этих кривых нет, то следует регулировать задания недостающей трудности, приводя к равномерному заполнению интервала шкалы логитов от –6 до +6. Это осуществляется итерационным добавлением (убавлением) заданий требуемой трудности, например, пока разработчик не останется доволен распределением результатов.

6.3. Сертификация аттестационных тестов

Цель сертификации – повышение качества образования с помощью повышения качества тестирования, идентификация уровня качества сертифицируемых материалов, разработка рекомендаций по их эволюции.

Сертификацию осуществляет Центр сертификации качества педагогических тестовых материалов, эксперты и программные средства.

Объекты и совокупности сертификации:

Для сертификации аттестационного теста, его содержание должно полностью быть релевантным целям разработки, основная из которых – отображение требований ФГОС в части содержания теста, его полноты, пропорциональности, структуры, однородности, значимости, корректности, валидности и др.

Статистические данные о результатах тестирования, выполнения задания включают, как правило, распределение ответов всех испытуемых (процент) по дидактическим единицам (кодам), баллам; процент испытуемых выполнивших полностью, частично выполнивших, выполнивших неправильно, не приступавших и другие параметры.

Темы для самостоятельных работ и рефератов