Кабардино-Балкарский государственный университет
Опубликован: 11.11.2008 | Доступ: свободный | Студентов: 7214 / 2118 | Оценка: 4.16 / 3.99 | Длительность: 04:36:00
Лекция 4:

Оценивание тестирования

< Лекция 3 || Лекция 4: 12 || Лекция 5 >

Задача 2.

Даны результаты тестирования для каждого из n тестированных и теста длины m в виде матрицы A, а также вектор эталонных ответов B=(b_1, b_2, …, b_m), где b_j – эталонный ответ на задание номер j. Необходимо определить "вес" (меру сложности) конкретного задания теста.

Простейший алгоритм решения этой задачи состоит из следующих этапов.

  1. Определяем для очередного задания теста по матрице А количество тестированных, давших правильный ответ на данное задание.
  2. В качестве "веса" задания берется дробь c_j: знаменатель – количество тестированных, числитель – количество тестированных, давших правильные ответы на все задания.
  3. Вычисляем смежные веса d_i: знаменатель – количество всех тестированных, давших неправильный ответ на данное задание номер j, числитель – количество тестированных, давших неправильные ответы на все задания. Иногда в знаменателе берется количество всех тестированных.
  4. Находится вектор весов выполнения c=(c_1, c_2, …, c_m) для заданного вектора b эталонных ответов.
  5. Находим вектор весов невыполнения d=(d_1, d_2, …, d_m) для заданного вектора b эталонных ответов.
  6. Оцениваем дисперсию каждого j -го задания D_j=с_id_i и стандартное отклонение \sigma_j = \sqrt{D_j}.
  7. Конец алгоритма.

Задача 3.

Даны результаты тестирования для каждого из n тестированных и теста длины m в виде матрицы A, а также вектор эталонных ответов B=(b_1, b_2, …, b_m), где b_j – эталонный ответ на задание номер j. Необходимо оценить валидность каждого задания теста.

Простейший алгоритм решения этой задачи состоит из следующих этапов.

  1. Определяем для очередного задания теста по матрице A количество тестированных, давших правильный ответ на j -ое задание и находим их средний балл x_j.
  2. Находим аналогично количество тестированных, давших неправильный ответ на j-ое задание и их средний балл y_j.
  3. Находим дробь c_j: знаменатель – количество тестированных, давших правильный ответ на данное задание номер j, числитель – количество тестированных.
  4. Находим дробь d_i: знаменатель – количество тестированных, давших неправильный ответ на данное задание номер j, числитель – количество тестированных.
  5. Оцениваем дисперсию каждого j -го задания D_j=с_id_i и стандартное отклонение \sigma_j =\sqrt{D_j}.
  6. Находим стандартное отклонение \sigma=\sqrt{D} по всему тесту.
  7. Находим коэффициент корреляции (меру валидности задания):

    r_j=\frac{(x_j-y_j)\sigma_j}{\sigma}

  8. Если r_j>0,3, то задание считаем валидным, иначе – не валидным (отметим, что с точки зрения критериальной валидности, задания, выполненные всеми или невыполненные никем, не являются валидными).
  9. Конец алгоритма.

Задача 4.

Даны результаты нормативно-ориентированного тестирования для каждого из n тестированных и теста длины m в виде матрицы A, а также вектор эталонных ответов B=(b_1, b_2, …, b_m), где b_j – эталонный ответ на задание номер j. Необходимо оценить надежность теста (степень устойчивости результатов тестирования каждого испытуемого, если тестирование было проведено в совершенно одинаковых условиях).

Для вычисления надежности нормативно-ориентированного теста используем коэффициент корреляции между результатами двух параллельных тестов. Сравнивая коэффициенты корреляции, делаем заключение о надежности (внутренней) теста. Если две половины теста коррелированны, то и тест надёжен; в противном случае – не надёжен (или необходимо применить другой, более тонкий математический аппарат исследования надежности).

Простейший алгоритм решения этой задачи состоит из следующих этапов.

  1. Делим тест на две равные части X и Y, например, по четным и нечетным номерам заданий. Этот метод называется методом расщепления теста. Таким образом, мы имеем данные по двум параллельным тестам X и Y – индивидуальные баллы (x_1, x_2, …, x_n), (y_1, y_2, …, y_n), где n – количество тестированных.
  2. Для каждого задания группы X выполняем предыдущий алгоритм.
  3. Для каждого задания группы Y выполняем предыдущий алгоритм.
  4. Находим коэффициент корреляции X и Y по формуле:

    r_{XY}=\frac{\sum\limits_{i=1}^{n}x_iy_i-\frac{1}{n}\sum\limits_{i=1}^{n}x_i\sum\limits_{i=1}^{n}y_i}{\sqrt{\sum\limits_{i=1}^{n}x_i^2-\frac{1}{n}(\sum\limits_{i=1}^{n}x_i)^2}\cdot\sqrt{\sum\limits_{i=1}^{n}y_i^2-\frac{1}{n}(\sum\limits_{i=1}^{n}y_i)^2}}.

  5. Находим надежность r всего теста по формуле (Спирмена-Брауна):

    r=\frac{2r_{XY}}{1+r_{XY}}

  6. Конец алгоритма.

Задача 5.

Необходимо на основе имеющихся результатов тестирования (матрица А ) получить для каждого из n тестированных интегральный (обобщенный) показатель выполнения теста длины m, а затем по вычисленным значениям этого интегрального показателя разбить всех тестированных на заданное количество k групп (задача классификации).

Алгоритм решения этой задачи состоит из следующих этапов.

  1. Если для j -го задания увеличение значений результатов измерения свидетельствует об улучшении соответствующего свойства, то с ним свяжем признак z_j=1, а если свидетельствует об ухудшении – признак z_j=–1.
  2. Выполняем нормирование элементов исходной матрицы так, чтобы в каждом столбце они изменялись в "одном направлении": для каждого задания (при фиксированном j=1, 2, …, m ) и для каждого испытуемого i=1, 2, …, n вычислим новое значение

    a_{ij}:=\frac{a_{ij}-m_j}{M_j-m_j},

    где M_j, m_j – наибольшее и наименьшее значения элементов j -го столбца и применяем преобразование вида

    a_{ij}:=
\begin{cases}
a_{ij}, z_j=1\\
1-a_{ij},z_{ij}=-1
\end{cases}.

  3. Для каждого столбца полученной новой матрицы А (нормированной) вычисляется среднее квадратичное отклонение по формуле

    c_i=\sqrt{\frac{\sum\limits_{i=1}^n (a_{ij}-\bar a_j)^2}{n-1}},

    где \bar a_j – среднее арифметическое элементов j -го столбца.

  4. Вычисляется классификационный интегральный показатель

    y_i=\sum\limits_{j=1}^{m} a_{ij}c_i,

    где y_i – значение интегрального показателя для i -го обучаемого i=(1,2,…,n), – весовой коэффициент j -го задания в тесте или в банке всех заданий, a_{ij} – элемент матрицы А или его преобразованное (нормированное, например, по отношению к максимальному элементу или к норме матрицы).

  5. Находим наименьшее y_{min} и наибольшее y_{max} значения интегрального показателя (по всем тестированным). Отрезок [y_{max};y_{min}] делим на заданное число k интервалов. Часто берут (при построении, например, гистограммы) k=1+3,2lgn. Всех тестированных, для которых вычисленные значения интегрального показателя попадают в один и тот же интервал, отождествляем и относим к одному классу.
  6. Выдаем результаты: значения интегрального показателя для каждого тестированного, а также его класс (или классификацию тестированных по интегральному показателю).
  7. Конец алгоритма.

Задача 6.

Дана интегральная норма y тестовых результатов. Необходимо разбить группу тестированных на несколько групп по их интегральным показателям (по отношению их к норме).

Приведем простейший алгоритм решения этой задачи.

Первый алгоритм решения этой задачи состоит из следующих этапов.

  1. Ввод входных данных: n, m, A.
  2. Для каждого тестированного определяем суммарный балл:

    b_i=\sum\limits_{i=1}^{m} a_{ij}.

  3. Разбиваем всю выборку тестированных на три группы: группа 1 с высокими баллами (нижняя граница суммарного балла для попадающих в эту группу равна min\{b_i\}+b(max\{b_i\}–b_i), группа 2 со средними баллами и группа 3 с низкими баллами (верхняя граница суммарного балла для попадающих в эту группу равна min/{b_i/}+(1–b)(max/{b_i/}–b_i), где b – масштабирующий коэффициент, b>0,5.
  4. Конец алгоритма.

Задача 7.

Необходимо отсеять первичные ("сырые") результаты в группах, т.е. по данным x_1, x_2, …, x_n (процент выполнения, валидность и т.д.) выяснить задания (тесты, результаты), которые не согласуются с общей картиной тестирования.

Алгоритм решения задачи состоит из следующих этапов.

  1. Вычисляется средняя величина

    \bar x=\frac{x_1+x_2+...+x_n}{n}.

  2. Вычисляются наибольшее x_{max} и наименьшее x_{min} в группе.
  3. Вычисляются наибольшее отклонение в группе:

    d_{max}=| x_{min (max)} —  \bar x|.

  4. Вычисляется относительное отклонение:

    w=d_{max} / \bar x.

  5. Находим по таблице распределения Стьюдента процентные точки для t(5%) и t(0.1%). Таблица Стьюдента имеется практически во всех справочниках по математической статистике.
  6. Вычисляем соответствующие точки w(5%;n), w(0.1%;n).
  7. Если w(5%;n)>t(5%)  (w(0.1%;n)>t(0.1%)), то отсеиваем рассматриваемое данное и пересчитываем все заново (повторяем заново пункты 1-6).
  8. Конец алгоритма.
< Лекция 3 || Лекция 4: 12 || Лекция 5 >
Татьяна Кожушко
Татьяна Кожушко
Евгения Уразаева
Евгения Уразаева