НОУ ИНТУИТ | Введение в практическое тестирование. Лекция 4: Оценивание тестирования

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Кабардино-Балкарский государственный университет

Опубликован: 11.11.2008 | Доступ: свободный | Студентов: 7264 / 2149 | Оценка: 4.16 / 3.99 | Длительность: 04:36:00

Темы: Программирование, Образование

|

Вам нравится? Нравится 84 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

Аннотация: Рассматриваются простые задачи математико-статистической оценки тестирования и алгоритмы их решения

Ключевые слова: значение, ПО, предметной области, шкала, логит уровня знаний, натуральный логарифмы, логит уровня трудности задания, объект, подмножество, выборка, случайная выборка, средняя величина, выборочной средней, средняя арифметическая характеристика, Средняя гармоническая величина, Средняя квадратичная взвешенная величина, медиана, мода, ранжирование, Исход, Выборочное пространство, событие, испытание, операции, объединение, пересечение, Дополнение, полная группа, частота события, предел, предел функции, коэффициент асимметрии, стандартное отклонение, коэффициент вариации, числитель, коэффициент корреляции, валидность, нормативно-ориентированный тест, методы расщепления

Любое тестирование должно заканчиваться не только выставлением оценок (баллов), но и анализом результатов тестирования, выявлением уровня обучения и качества тестов.

Оценку результатов тестирования нужно производить баллами в определенной шкале баллов.

Например, 1–2 балла – "цена вопроса" в группе , 2–3 балла – в группе , 3–5 баллов – в группе . Такая оценка может быть переведена в классическую пятибалльную оценку или в другую желаемую шкалу оценок. Это одно из качеств тестирования, повышающих объективность оценки успехов.

Простейший критерий объективности: ответивших правильно на все вопросы в группе и большую часть в группе – большинство.

Для анализа полезны отборочные тесты с высокой мерой сложности и отсеивающие тесты с низкой мерой сложности.

Если тестирование все же проводится в системе оценок с двумя вариантами ответов ("да", "нет"), то и результат тестирования должен быть оценен в биполярной шкале: "аттестован – не аттестован".

Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным (1–5, 0–10, 1–101 и т. д.). Обычно используют итоговую 100-балльную шкалу.

Хотя первичные баллы могут иметь любое значение, итоговые тестовые баллы должны быть расчитаны по 100-бальной системе.

Величина тестового балла равна проценту успешно выполненного объема теста с учетом всех его особенностей и уровня сложности заданий, входящих в него. Она может рассматриваться как количественная оценка степени усвоения знаний и умений в соответствии с требованиями ГОС, программы, предметной области.

Например, система (шкала) перевода первичных баллов в оценки при приеме в вузы по математике ЕГЭ-2007 имеет следующий вид:

Первичные баллы	Баллы при приеме в вуз	Оценка
0-6	0-35	2
7-12	36-54	3
13-18	55-73	4
19-30	74-100	5

Распределение баллов зависит от процента правильных ответов и может лежать в различных границах, например: "отлично" – более 95% правильных ответов, "хорошо" – 80–94%, "удовлетворительно" – 60–79%, "неудовлетворительно" – менее 60%. К каждой системе такого распределения баллов могут быть предъявлены замечания.

Для измерения "уровня образованности" ("уровня знаний") лучше использовать логарифмическую шкалу, так называемые "логиты". Поясним эту шкалу.

Очень трудные задания снижают учебную мотивацию многих учащихся, как и очень легкие. Поэтому используется шкала, которую ввел датский математик Г. Раш (Г. Раск, G. Rasch), шкала "логитов". По Рашу определены два логита:

" логит уровня знаний " – натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов ;
" логит уровня трудности задания " – натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых.

Необходимо на всех этапах тестирования учитывать, что первичные баллы – необъективны (в математико-статистическом смысле).

Результаты тестирования могут свидетельствовать иногда и о том, что есть интеллектуально развитые обучаемые, показывающие плохие результаты тестирования, как и слабые обучаемые с так называемым критическим складом ума и хорошей моторной памятью, показывающие неплохие результаты.

Необходимо учитывать дидактическую ограниченность проверки на совпадение с эталоном ответа, особенно, при компьютерной проверке знаний и умений.

Тестирование обычно завершается математико-статистической обработкой данных тестирования.

Рассмотрим вначале некоторые необходимые понятия математической статистики и теории вероятностей.

Пусть задан некоторый статистический ряд из элементов x_1, x_2, …, x_n . Если эти элементы могут принимать все мыслимые допустимые значения, а объект с этими характеристиками рассматривается как единый (как система), то такую совокупность называют генеральной совокупностью; часто при этом предполагается, что она является конечной и упорядоченной по возрастанию: x_1<x_2<…<x_n .

Любое непустое подмножество генеральной совокупности называется выборкой. Если выборка осуществлена случайным образом, то она называется случайной выборкой.

Средняя величина генеральной совокупности в целом называется общей средней. Она отражает общие черты всей совокупности. Средняя величина для отдельной выборки называется средней по выборке или выборочной средней. Она отражает общие черты группы.

Существуют различные меры средних величин. Чаще используется средняя арифметическая характеристика:

$\bar x=\frac{\sum\limits_{i=1}^{n}x_i}{n}=\frac{x_1+x_2+...+x_n}{n}.$

Она называется также выборочной средней или эмпирической средней.

Средняя гармоническая величина, как и средняя арифметическая, может быть простой и взвешенной. Если все веса равны между собой, то можно использовать среднюю гармоническую в виде:

$\bar x_{гарм.}=\frac{n}{\sum\limits_{i=1}^{n}\frac{1}{x_i}}.$

Средняя квадратичная взвешенная величина вычисляется по формуле:

$\bar x_{кв}=\sqrt{\frac{\sum\limits_{i=1}^{n}x_i^2\omega_i}{\sum\limits_{i=1}^{n}\omega_i}} .$

Если веса $\omega_i=1$ , для всех i=1,2,…,n , то получаем просто среднее квадратичное. Эти величины характеризуют "концентрацию" данных выборки около среднего (или другой характерной тенденции).

К средним величинам, которые характеризуют структурные изменения, относятся мода и медиана. Они определяются лишь структурой распределения.

Мода – наиболее часто встречающееся значение признака у элементов данной совокупности. Она соответствует определенному значению признака.

Медиана - значение признака, которое делит элементы ранжированной выборки на две равные части. Это середина ранжированного ряда.

Исход – одно из возможных заключений о рассматриваемом процессе.

Выборочное пространство – множество всех исходов.

Событие – любое подмножество выборочного пространства. Пустое событие обозначают, как и в теории множеств, символом $\emptyset$ . Событием можно считать и всё выборочное пространство (универсальное событие).

Испытание – проверка всевозможных исходов события.

Два испытания независимы, если любое событие, определённое на основе только одного из них, не зависит от любого события, определённого на основе другого.

Так как событие – это множество, то для них должны быть выполнимы основные операции с множествами: объединение, пересечение и дополнение.

Два события S_1 и S_2 несовместимы, если $S_1\cap S_2=\emptyset$ .

События S_1 и S_2 образуют полную группу, если $S_1\cup S_2=S$ (всему выборочному пространству).

События S_1 и S_2 – противоположны, если они несовместимы и образуют полную группу.

Пусть – событие, n(S) – число случаев (исходов), в которых произошло событие из проведенной серии испытаний (в выборочном пространстве). Тогда $\delta=n(S)/n$ – относительная частота события .

При больших $n (n\to \infty)$ , $\delta\to р$ . Эта предельная частота называется вероятностью события и обозначается как р(S) или просто . Всегда $р(S_1)\ge 0 S_1\subset S$ , а р(S)=1 .

Важно заметить, что указанный предел не может быть вычислен как предел функции (последовательности), так как её просто нет.

Изложим ряд наиболее часто решаемых и наиболее простых (специально упрощенных) задач, которые часто встречаются при подготовке к тестированию и математической обработке результатов тестирования, а также алгоритмы их решения. При этом мы не будем сильно вдаваться в обоснование используемых математических фактов, используя их, как принято в прикладных задачах, в качестве инструментария (это осуществляется и с целью расширить читательский состав).

Задача 1.

Пусть теперь даны результаты тестирования группы, состоящей из испытуемых для заданного теста из различных знаний. Обычно эти данные представляются в виде некоторой матрицы баллов (типа "тестируемый – задание") размерности на :

$A(n\times m)= \begin{Vmatrix} a_{11}&a_{12}...&a_{1m}\\ a_{21}&a_{22}...&a_{2m}\\ ...&...&...\\ a_{n1}&a_{n2}...&a_{nm} \end{Vmatrix} = \begin{Vmatrix}a_{ij}\end{Vmatrix}_{i=\overline{1,n}}^{j=\overline{1,m}}$

Элемент $a_{ij}$ матрицы представляет собой результат выполнения -го задания для -го тестируемого.

Необходимо на основе имеющихся результатов x_1, x_2, …, x_n тестирования для каждого из тестированных, вычислить основные статистические показатели тестирования (оценить "сырые" результаты) для выбранной случайным образом группы тестированных.

Алгоритм решения этой задачи состоит из следующих этапов.

Упорядочиваем ряд по возрастанию (находим генеральную совокупность): .
Выбираем интересующее нас подмножество тестированных (выборку).
Находим среднее арифметическое по выборке
$\bar x=\frac{\sum\limits_{i=1}^{n}{x_i}}{n}=\frac{x_1+x_2+...+x_n}{n}.$
Находим среднюю гармоническую величину выборки:
$\bar x_{гарм}=\frac{n}{\sum\limits_{i=1}^{n}\frac{1}{x_i}}.$
Находим величины, характеризующие структурные изменения, например, моду и медиану. Для данных, имеющих "хорошее поведение", медиана всегда лежит в промежутке между средним арифметическим и модой. Эти величины выстраиваются по возрастанию следующим образом (напомним про упорядоченность по возрастанию выборки, предполагаемую нами далее для любого статистического ряда): среднее, медиана, мода, или же в обратном порядке. Прямой или обратный порядок их расположения можно определить, вычислив так называемый коэффициент асимметрии:
$K=\frac{\frac{1}{n}\sum\limits_{i=1}^{n}(x_i - \bar x)^3}{(\sqrt{\frac{1}{n}\sum\limits_{i=1}^{n}(x_i - \bar x)^2})^3}.$

Этот коэффициент отражает относительную изменчивость данных.
Находим меры рассеяния, разброса или вариации, показывающие, как остальные элементы совокупности (выборки) группируются около средних величин. Например,
1. размах
  $r_x=x_{max} – x_{min} = x_n – x_1;$
2. среднее абсолютное отклонение
  $x_{cp}= \frac{1}{n}\sum\limits_{i=1}^{n}|x_i - \bar x |;$
3. среднеквадратичное отклонение
  $\delta x =\frac{1}{n}\sum\limits_{i=1}^{n}(x_i - \bar x)^2=\frac{1}{n}(\sum\limits_{i=1}^n x_i^2 - nx^{-2});$
4. дисперсия
  $D =\frac{1}{n-1}\sum\limits_{i=1}^{n}(x_i - \bar x)^2=\frac{1}{n-1}(\sum\limits_{i=1}^n x_i^2 - nx^{-2});$
5. стандартное отклонение:
  $\sigma= \sqrt{D};$
6. коэффициент вариации:
  $\nu=\sigma / \bar x$ .
Конец алгоритма.

Дальше >>

Авторизоваться

Введение в практическое тестирование

Оценивание тестирования

Задача 1.

Вопросы и ответы