Оценивание тестирования
Задача 2.
Даны результаты тестирования для каждого из n тестированных и теста длины в виде матрицы , а также вектор эталонных ответов , где – эталонный ответ на задание номер . Необходимо определить "вес" (меру сложности) конкретного задания теста.
Простейший алгоритм решения этой задачи состоит из следующих этапов.
- Определяем для очередного задания теста по матрице количество тестированных, давших правильный ответ на данное задание.
- В качестве "веса" задания берется дробь : знаменатель – количество тестированных, числитель – количество тестированных, давших правильные ответы на все задания.
- Вычисляем смежные веса : знаменатель – количество всех тестированных, давших неправильный ответ на данное задание номер , числитель – количество тестированных, давших неправильные ответы на все задания. Иногда в знаменателе берется количество всех тестированных.
- Находится вектор весов выполнения для заданного вектора эталонных ответов.
- Находим вектор весов невыполнения для заданного вектора эталонных ответов.
- Оцениваем дисперсию каждого -го задания и стандартное отклонение .
- Конец алгоритма.
Задача 3.
Даны результаты тестирования для каждого из тестированных и теста длины в виде матрицы , а также вектор эталонных ответов , где – эталонный ответ на задание номер . Необходимо оценить валидность каждого задания теста.
Простейший алгоритм решения этой задачи состоит из следующих этапов.
- Определяем для очередного задания теста по матрице количество тестированных, давших правильный ответ на -ое задание и находим их средний балл .
- Находим аналогично количество тестированных, давших неправильный ответ на j-ое задание и их средний балл .
- Находим дробь : знаменатель – количество тестированных, давших правильный ответ на данное задание номер , числитель – количество тестированных.
- Находим дробь : знаменатель – количество тестированных, давших неправильный ответ на данное задание номер , числитель – количество тестированных.
- Оцениваем дисперсию каждого -го задания и стандартное отклонение .
- Находим стандартное отклонение по всему тесту.
- Находим коэффициент корреляции (меру валидности задания):
- Если , то задание считаем валидным, иначе – не валидным (отметим, что с точки зрения критериальной валидности, задания, выполненные всеми или невыполненные никем, не являются валидными).
- Конец алгоритма.
Задача 4.
Даны результаты нормативно-ориентированного тестирования для каждого из тестированных и теста длины в виде матрицы , а также вектор эталонных ответов , где – эталонный ответ на задание номер . Необходимо оценить надежность теста (степень устойчивости результатов тестирования каждого испытуемого, если тестирование было проведено в совершенно одинаковых условиях).
Для вычисления надежности нормативно-ориентированного теста используем коэффициент корреляции между результатами двух параллельных тестов. Сравнивая коэффициенты корреляции, делаем заключение о надежности (внутренней) теста. Если две половины теста коррелированны, то и тест надёжен; в противном случае – не надёжен (или необходимо применить другой, более тонкий математический аппарат исследования надежности).
Простейший алгоритм решения этой задачи состоит из следующих этапов.
- Делим тест на две равные части и , например, по четным и нечетным номерам заданий. Этот метод называется методом расщепления теста. Таким образом, мы имеем данные по двум параллельным тестам и – индивидуальные баллы , , где – количество тестированных.
- Для каждого задания группы выполняем предыдущий алгоритм.
- Для каждого задания группы выполняем предыдущий алгоритм.
- Находим коэффициент корреляции и по формуле:
- Находим надежность всего теста по формуле (Спирмена-Брауна):
- Конец алгоритма.
Задача 5.
Необходимо на основе имеющихся результатов тестирования (матрица ) получить для каждого из тестированных интегральный (обобщенный) показатель выполнения теста длины , а затем по вычисленным значениям этого интегрального показателя разбить всех тестированных на заданное количество групп (задача классификации).
Алгоритм решения этой задачи состоит из следующих этапов.
- Если для -го задания увеличение значений результатов измерения свидетельствует об улучшении соответствующего свойства, то с ним свяжем признак , а если свидетельствует об ухудшении – признак .
- Выполняем нормирование элементов исходной матрицы так, чтобы в каждом столбце они изменялись в "одном направлении": для каждого задания (при фиксированном ) и для каждого испытуемого вычислим новое значение
где , – наибольшее и наименьшее значения элементов -го столбца и применяем преобразование вида
.
- Для каждого столбца полученной новой матрицы (нормированной) вычисляется среднее квадратичное отклонение по формуле
где – среднее арифметическое элементов -го столбца.
- Вычисляется классификационный интегральный показатель
,
где – значение интегрального показателя для -го обучаемого , – весовой коэффициент -го задания в тесте или в банке всех заданий, – элемент матрицы или его преобразованное (нормированное, например, по отношению к максимальному элементу или к норме матрицы).
- Находим наименьшее и наибольшее значения интегрального показателя (по всем тестированным). Отрезок делим на заданное число интервалов. Часто берут (при построении, например, гистограммы) . Всех тестированных, для которых вычисленные значения интегрального показателя попадают в один и тот же интервал, отождествляем и относим к одному классу.
- Выдаем результаты: значения интегрального показателя для каждого тестированного, а также его класс (или классификацию тестированных по интегральному показателю).
- Конец алгоритма.
Задача 6.
Дана интегральная норма тестовых результатов. Необходимо разбить группу тестированных на несколько групп по их интегральным показателям (по отношению их к норме).
Приведем простейший алгоритм решения этой задачи.
Первый алгоритм решения этой задачи состоит из следующих этапов.
- Ввод входных данных: .
- Для каждого тестированного определяем суммарный балл:
.
- Разбиваем всю выборку тестированных на три группы: группа 1 с высокими баллами (нижняя граница суммарного балла для попадающих в эту группу равна , группа 2 со средними баллами и группа 3 с низкими баллами (верхняя граница суммарного балла для попадающих в эту группу равна , где – масштабирующий коэффициент, .
- Конец алгоритма.
Задача 7.
Необходимо отсеять первичные ("сырые") результаты в группах, т.е. по данным (процент выполнения, валидность и т.д.) выяснить задания (тесты, результаты), которые не согласуются с общей картиной тестирования.
Алгоритм решения задачи состоит из следующих этапов.
- Вычисляется средняя величина
- Вычисляются наибольшее и наименьшее в группе.
- Вычисляются наибольшее отклонение в группе:
- Вычисляется относительное отклонение:
- Находим по таблице распределения Стьюдента процентные точки для и . Таблица Стьюдента имеется практически во всех справочниках по математической статистике.
- Вычисляем соответствующие точки , .
- Если , то отсеиваем рассматриваемое данное и пересчитываем все заново (повторяем заново пункты 1-6).
- Конец алгоритма.