Оценка качества тестовых заданий

4.5. Формирование экспертной группы

Последнему "минусу" экспертной оценки посвятим данный пункт. При оценке учебных достижений обучающихся необходимо бывает провести мониторинг (успеваемости, усвоения, хода обучающего процесса и т.д.). Но такой мониторинг и сложный, и дорогостоящий. Поэтому на практике, в частности, при ситуационном тестировании полезны простые и технологичные процедуры, которые позволили бы обходиться без сложного мониторинга (или же минимизировали бы его необходимость, использование).

Рассмотрим один подход, основанный на общих статистических гипотезах.

Есть различные эксперты, экспертные группы, оценивающие среду тестирования. Они дали свои оценки по тестированию, например, по обученности.

Эффективны и объективны здесь методы: метод комиссии, метод Дельфи, метод суда, метод мозговой атаки. Например, метод комиссии начинается с открытой дискуссии экспертов по рассматриваемой проблеме. Коллективное мнение определяется открытым или тайным голосованием. Затем происходит обоснование мнений экспертов и вырабатывается приемлемое мнение экспертной группы.

Улучшить качество прогноза можно, если использовать процедуры формирования различных экспертных групп, процедуры оценивания качества (согласованности, точности) таких экспертных оценок. Согласованность экспертов можно оценить на основе коэффициентов ранговой корреляции, а также конкордации по Спирмэну.

Коэффициент ранговой корреляции оценивает, какой из альтернатив эксперт дал предпочтение. Коэффициент конкордации оценивает согласованность ранжирований членов рассматриваемой экспертной группы.

Если n - число ранжируемых альтернатив, m - число экспертов в группе, то характеристика согласованности экспертной группы даст коэффициент конкордации:

где – ранги выбора i, соответственно, в ранжированиях с номерами k и l.

Если W=1, то мнения экспертов полностью совпадают (экспертная группа полностью согласована), если же W=0, – то мнения экспертов полностью несогласованные. В остальных случаях: 0<W<1. Этот критерий нельзя абсолютизировать.

Данный критерий нельзя абсолютизировать, но он вполне практически применим, особенно, при адаптивном тестировании и обучении.