Тестирование (как метод) имеет преимущества перед другими педагогическими методами, в частности, можно отметить следующие преимущества:
Тестирование наиболее благоприятно для реализации основных принципов обучения и самообучения таких, как интерактивная доставка, в режиме реального времени обучаемому результата и индивидуализация процесса обучения в соответствии с принципами гуманизации, гармонизации и гуманитаризации обучения, личностно-ориентированный подход.
Тестирование имеет достаточно прочное основание для своего развития:
Все это должно эффективно работать не только на процесс информационной поддержки обучения (грубо говоря, не только на объём, скорость, надёжность, воспринимаемость, технологию и другие атрибуты этого процесса), но и на процесс воспитания, самообучение.
Тесты и тестирование нельзя абсолютизировать, педагогическое тестирование, как и всякое средство измерения и контроля, имеет свои недостатки.
Разработка качественного тестового задания, теста – сложный, длительный и трудоемкий итерационный процесс. В непрофессиональных (в области тестирования) кругах бытует мнение, что такие задания (особенно, с выбором правильного ответа из числа предложенных) обеспечивают проверку только простых знаний и умений, а тестирование – только проверку понимания формализованных знаний. Все зависит от качества и содержания тестов, структуры тестовых заданий и вариантов ответов, методики и технологии тестирования. Все зависит, окончательно, от тестолога-методиста и технолога.
Как и любой измерительный инструмент, тест имеет свои точность и погрешность, диапазон применимости, статистические параметры и распределение, выборочное пространство.
Обучение по принципу "натаскивания на тесты" приводит лишь к знаниям справочного характера, что не является полноценным знанием. Кроме того, возможна фальсификация результатов, как и при любом другом виде контроля знаний.
Существует определенное недоверие и нежелание к использованию тестового контроля, особенно, высокотехнологичного, некий психологический барьер – как у обучаемых, так и у обучающих.
Несмотря на указанные недостатки, тесты являются основным объективным способом педагогических измерений, исключающим влияние субъективного фактора, дифференциации уровней подготовленности обучающихся и практической реализации идей личностно-ориентированного образования.
Непросто, но вполне возможно решить и самую сложную проблему тестирования – разработать представительный банк (базу) качественных контрольно-измерительных материалов (КИМ). Составление КИМов необходимо осуществлять с привлечением высокопрофессиональных тестологов и методистов, проведение тестирование – с привлечением технологов и психологов, оценку, анализ и принятие решений – с привлечением специалистов по математике, системному анализу, педагогике, психологии, принятию решений.
Тест (test, испытание или проверка) – система специально разработанных и структурированных кратких вопросов и заданий, с ограничением времени выполнения всего набора заданий (время на отдельное задание часто не лимитируется) и предназначенных для установления различного типа характеристик обучения и преподавания предмета (темы, раздела).
Тестирование – это и метод, и результат педагогического измерения.
Всякое тестирование означает и набор заданий, и процедуру испытания, и концепцию испытания, и содержание, и форму, и результаты, и анализ, и интерпретацию.
Тест состоит из тестовых заданий – учебных ситуаций с ограничением ресурсов (времени, использования учебников, вопросов преподавателю и др.), для которых тестируемый должен выбрать наиболее подходящий, на его взгляд, вариант ответа на тот или иной ситуационный вопрос из предложенных ему вариантов или же сам сконструировать такой вариант.
Часто путают два понятия: задание в тестовой форме и тестовое задание. Для задания в тестовой форме существенно требование соответствия формы и содержания. К тестовым заданиям в первую очередь предъявляется требование известной трудности. Те и другие задания должны быть включены в тест только после эмпирической проверки меры их трудности, на типичных группах испытуемых.
Педагогический тест – система тестовых заданий возрастающей трудности, позволяющая качественно и эффективно измерить уровень и оценить структуру подготовленности обучаемых, а также составителя тестов (тестолога-методиста и технолога-менеджера).
Традиционный педагогический тест включает в себя:
Такой тест представляет как метод педагогического измерения, так и как результат применения теста.
Педагогическое тестирование – это подготовка качественных тестов, комфортных условий для тестирования, проведение тестирования и последующие, основанные на результатах тестирования, идентификация и анализ уровня подготовки (уровня знаний, умений и навыков) как отдельного тестируемого, так и всей группы тестируемых.
Балл – единица оценки по шкале результатов теста (задания).
Балл тестовый – совокупность тестов (заданий), разработанных рядом авторов, прошедших апробацию, имеющих идентифицированные характеристики.
Валидность – важнейшая характеристика качества тестирования, тестов, указывающая, что данный тест измеряет и как хорошо, оценка доброкачественности теста.
Дискриминативность – способность задания (теста) разделять испытуемых согласно их успехам в обучении (обученности).
Дистрактор – неверный, но правдоподобный ответ.
Субтест – комплекс тестовых заданий для оценки значимых элементов структуры знаний (умений, навыков).
Тесты использовались со времен Древней Греции. У истоков современной тестологии стояли представители американских и европейских школ психологии девятнадцатого и двадцатого веков: Бине, Векслер, Гилфорд.
Отсчет современного тестирования ведут обычно от тестов, разработанных А. Бине и Т. Симоном по заказу Министерства просвещения Франции для отбора в спецшколы детей с задержкой интеллектуального развития. Это был настоящий прорыв в тестологии, ибо тесты, созданные для детей разного возраста, позволяли составить достаточно объективную характеристику умственного развития детей. Именно Бине и Симона считают родоначальниками тестов интеллекта (IQ).
В СССР в 1924–1936 гг. использовалось педагогическое тестирование, которое затем, по идеологическим соображениям, было предано забвению. В последнее время отмечается рост интереса к тестам и тестированию в нашей стране по ряду объективным причин.
Тестирование используется успешно в большинстве стран и способствует поддержанию определенного, хотя часто и минимального, государственного уровня всеобщей образованности. В этих странах выработана определенная культура тестирования и преемственность в педагогическом и профессиональном тестировании (например, в США, Германии, Франции, Австралии и др.).
Культуру тестирования необходимо возрождать, развивать и в нашей образовательной системе, но при этом совершенно не обязательно копировать все цели, критерии и атрибуты зарубежной культуры тестирования.
Культура педагогического тестирования должна переходить в культуру профессионального тестирования (при приеме на работу, проверке профессиональной пригодности, качества и т.д.).
Культура тестирования важна лишь для тех, кто заинтересован в повышении эффективности обучения, особенно, с использование новых методик и достижений.
Цели и функции тестирования и тестов могут быть различными. Выделим основные цели и функции:
Классификация тестов проводится по различным классификационным признакам.
Есть и другие подходы к классификации тестов.
Выбор класса зависит от вида контроля над учебной деятельностью обучаемых, который может быть вступительным, текущим, рубежным (промежуточным) или итоговым контролем.
Для стандартизации требований к абитуриентам и унификации (единообразия) процедуры вступительных испытаний тестовый контроль абитуриентов должен быть организован централизовано.
Пример. Примеры тестирования различного типа – ЕГЭ для выпускников школ РФ, SAT (Scholastic Assessment Tests – Тест Академического Оценивания) для поступающих и колледжи США.
Тестирование имеет три основных этапа:
Существуют два основных подхода использования педагогически и профессионально наиболее важных аттестационных тестов – нормативно-ориентированный и критериально-ориентированный.
Нормативно-ориентированный подход служит для сравнения учебных или профессиональных достижений отдельных испытуемых по отношению к некоторому эталонному, нормативному образцу, например, исполнению должностных обязанностей.
Нормативно-ориентированные педагогические тесты используются для получения надежных и нормально распределенных тестовых баллов. После выполнения нормативно-ориентированного теста (комплекса тестов), всем справившимся с тестом выставляются тестовые баллы (по некоторой заранее определенной системе оценивания заданий), а затем на основе анализа распределения тестовых баллов испытуемых (выборки) определяется норма. Далее тестовые баллы оцениваются (например, по пятибалльной системе) и каждому тестированному выставляется оценка.
Критериально-ориентированный подход служит для оценки степени овладения знаниями, умениями и навыками всех испытуемых.
Критериально-ориентированные педагогические тесты используются для интерпретации результатов тестирования (принятия решений) и оценки уровня учебных достижений относительно некоторого образа полного или достаточного овладения этими знаниями, умениями и навыками. Критериально-ориентированные тесты ориентированы на определенный критерий оценки испытуемых, на предварительно определенную (тестирующими или администрацией) шкалу измерения, в соответствии с которой каждому тестируемому выставляется оценка.
Оба подхода важны и взаимосвязаны, имеют много общих свойств. В то же время, у них различные цели, уровни детализации содержания, мощность выборочного множества, технология составления и оценивания тестов (в том числе и шкала оценивания), методы анализа и принятия решения.
Тесты обладают следующими основными свойствами.
Валидность – мера соответствия теста измеряемым знаниям, умениям и навыкам, для проверки которых был разработан тест, мера соответствия стандартам и программам обучения, а также результатам тестирования. Это наиболее важная, комплексная характеристика, отражающая "инструментальную" точность тестирования.
Сложность – мера умственных усилий, требуемых для выбора ответа.
Часто эта мера называется весом и определяется как доля правильных или неправильных ответов при ответе на задание в группе тестируемых.
Внутренняя сложность определяется сложностью тестовых заданий (тестов) в тесте (группе тестов).
Внешняя сложность определяется сложностью взаимоотношений с окружением (тестируемые, тестирующие, инструментальные среды), сложностью управления системой, потенциально оцениваемых по обратным связям системы и среды, сложность анализа результатов тестирования и принятия решений.
Эти два вида сложности взаимосвязаны и взаимозависимы (рис. 2). Как правило, внутренняя сложность определяет и внешнюю сложность.
(рис 3.1) Структура сложности
Надежность – мера правильности и адекватности отражения тестом уровня знаний учащихся.
Надежный тест обеспечивает равные права каждой группе обучаемых и каждому обучающемуся в группе. Обычно используемый 95%-ый уровень значимости может служить показателем достаточной надежности (с коэффициентом 0,95).
Устойчивость теста – мера сохранения надежности и валидности при переносе теста в другую, аналогичную среду, мера равнозначности и однородности тестов для различных групп учащихся.
Шкалируемость теста – способность теста отображать результаты учебных достижений в некоторой задаваемой системе (шкале) оценок или баллов.
Репрезентативность теста (банка или базы тестов) – мера полноты охвата заданиями учебного материала, программы, отражения тестами различных уровней обучения.
Значимость теста – мера необходимости, актуальности включения в тест ключевых знаний, надежно свидетельствующих о репрезентативности теста.
Дискриминантность теста – мера дифференциации тестируемых относительно максимального или минимального уровня обучения.
Достоверность, научность, непротиворечивость теста – мера истинности теста, согласованности, соответствия современному состоянию науки и технологии, методике обучения.
Необходимо обеспечить согласованность заданий теста как между собой (внутренняя согласованность), так и с другими тестами (внешняя согласованность).
Под гипотезой тестирования будем понимать некоторое утверждение (предикат), подлежащий проверке (на истинность).
Гипотеза может быть детерминированной (выполнено, не выполнено), вероятностной (с задаваемой вероятностью истинности) или нечеткой (формулируемой с помощью аппарата нечеткой логики).
Основная системная цель тестирования – использование потенциальной возможности распространения (анализа и обобщения) данных по выборке на другие выборки или даже на генеральную совокупность, наблюдаемых в тестовых испытаниях ситуаций для данной совокупности тестированных, на другие совокупности или, возможно, – на всю образовательную систему в целом.
Какой набор тестовых заданий может называться системой, с точки зрения системного анализа?
Под системой будем понимать некоторую совокупность составляющих её элементов, имеющих общую цель рассмотрения, общие ресурсы, общую структуру и хотя бы одно свойство, позволяющее отличать эту систему от других.
Система тестирования в отличие от системы проверочных контрольных работ имеет такие элементы (тесты), ресурсы (банк тестов, категория тестируемых, инструментарий и технология тестирования), структуру (логические и дидактические связи), отличительное свойство (например, ограничение времени, объективность).
Любая система тестирования как система должна подчиняться основным системным требованиям, принципам: дедуктивной последовательности; интегрированного рассмотрения; согласования ресурсов и целей; бесконфликтности.
Любая система тестирования как система должна иметь основные системные признаки:
Основная системная цель тестирования – использование потенциальной возможности распространения (анализа и обобщения) данных по выборке на другие выборки или даже на генеральную совокупность, наблюдаемых в тестовых испытаниях ситуаций для данной совокупности тестированных, на другие совокупности.
Рассмотрим основные системные правила разработки качественных тестов. В отличие от других, невыполнение хоть одного из этих правил делает невозможным построение теста, т.е. системы тестовых заданий.
Правило 1. Тест должен быть валидным.
Правило 2. Тест должен иметь необходимый и достаточный уровень сложности.
Правило 3. Тест должен быть объективным.
Правило 4. Тест должен быть надежным.
Правило 5. Тест должен быть устойчивым.
Правило 6. Тест должен быть шкалируемым.
Правило 7. Тест должен быть репрезентативным.
Правило 8. Тест должен быть значимым.
Правило 9. Тест должен быть дискриминантным.
Правило 10. Тест должен быть достоверным.
Правило 11. Тест должен быть научным.
Правило 12. Тест должен быть непротиворечивым.
Правило 13. Тест основан на некоторой гипотезе тестирования.
Правило 14. Тестирование должно быть непрерывным.
Правило 15. Тесты должны быть эволюционными.
Правило 16. Тестирование направлено не только на выявление уровня знания, но и на выявление уровня умений.
Содержание категории "Умения" может быть для целей педагогического тестирования классифицировано как способность:
Недостаток научного обеспечения тестирования имеет следствием подмену тестов удовлетворяющих вышеприведенным правилам "тестоподобными" материалами, в лучшем случае контрольной работой с тестообразными задачами, ненаучными формами и методами тестирования.
Таким образом, тест должен соответствовать необходимым и измеряемым знаниям, умениям и навыкам, стандартам и программам обучения, должен обеспечивать одинаковые права и близкие показатели для каждой группы тестируемых (независимо от той или иной группы тестируемых), отображать результаты учебных достижений в задаваемой системе оценок, быть актуальным.
Тестовые баллы, результаты, если они получены честно и объективно – своеобразная и достаточно математически (статистически) обоснованная (например, доверительными интервалами и среднеквадратичным отклонением) количественная и качественная оценка степени усвоения учебного материала, ГОС.
Согласно приводимым ниже правилам, можно разработать эффективные тестовые задания – неделимые элементы системы тестирования.
Правило 17. Тестовое задание должно быть сформулировано ясно и четко, не должно допускать двусмысленного толкования и должно способствовать формулированию правильного ответа. Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения. Избегайте вводных фраз, малосвязанных с проверяемыми знаниями и умениями.
Правило 18. Каждое задание теста должно быть функционально завершенным, т.е. должно проверять конкретное знание, умение или навык.
Правило 19. Принцип подбора тестовых заданий и сами тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности, а не только на отдельных его участках.
Правило 20. Необходимо в обучающих тестах создавать ситуации узнавания текста (материала) и ситуации "напряжения".
Правило 21. Желательно использовать простую, но грамматически правильную утвердительную форму задания в виде одного предложения из 5–15 слов. Минимизируйте обороты, используйте простые придаточные предложения, но не упрощайте вопросы (так можно незаметно "выплеснуть с водой из ванны и ребенка"). Не используйте переносы тестового задания на новую страницу частично, лучше переносить задание целиком.
Правило 22. Не использовать в заданиях "нестрогие" слова типа "иногда", "часто", "всегда", "все", "никогда", "большой", "небольшой", "малый", "много", "меньше", "больше" и грамматические обороты типа "Почему не может не...", "Правда ли, что ...", "Возможно ли...", двойные отрицания, исключающее "или", отрицания кванторов и т.д. (если тестовое задание не рассчитано на их понимание).
Правило 23. Ответы должны содержать не более 2–3 ключевых слов по условию вопроса.
Правило 24. Желательно строить ответы одинаковой формы и длины.
Правило 25. Количественные ответы желательно упорядочивать по возрастанию или убыванию, а если ответы легко вычислить, то первым не должен быть указан правильный ответ.
Правило 26. Необходимо исключить возможность выбора правильного (или неправильного) ответа интуитивно и ассоциативно, догадкой, вербально.
Правило 27. Ответы должны быть независимы, одинаково привлекательны для выбора.
Правило 28. Если тестовое задание специально рассчитано на понимание аббревиатур и сокращений, то в условии и дистракторах (правдоподобных вариантах ответа) тестового задания в закрытой форме они могут быть корректно использованы.
Правило 29. В каждом задании закрытой формы количество дистракторов должно быть от 4 до 6, а в заданиях на установление соответствия – примерно в 2 раза больше.
Правило 30. Условие задания не должно принимать неопределенное значение при подстановке любого варианта ответа.
Правило 31. Все дистракторы должны быть подобраны грамотно, умело, без подвохов, но не произвольно, а в соответствии с типовыми ошибками.
Правило 32. Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания. Аналогично, правильный ответ никогда не может стать неправильным.
Правило 33. Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия.
Правило 34. Из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию.
Правило 35. Задание должно быть детерминированным, оно не должно требовать уточнений.
Правило 36. Ни при каких условиях задание не должно предполагать знаний, выходящих за пределы учебного материала, программы, образовательного стандарта.
Правило 37. Ни при каких условиях, ни один тестируемый не должен получать преимущество (по времени, условиям тестирования, заданиям) перед другим.
Правило 38. Количество тестовых заданий в тесте (эта величина называется длиной теста) должно составить 30–50 для естественнонаучных дисциплин и 60–100 – для гуманитарных.
Правило 39. Нельзя составлять задания и тесты наспех, во время усталости, "под плохое настроение".
Правило 40. Необходимо в тесте минимизировать однотипные задания и исключать фасетные задания (получаемые из других простой заменой параметров).
Правило 41. Тест и тестовое задание должны иметь спецификацию, например, вида банка КИМ ЕГЭ (по такой форме оформляются тестовые задания, принимаемые в банк ЕГЭ)
Результаты тестирования оформляются также в соответствии со спецификациями, например,
| № | Автор | Код формы | Код по кодиф | Уров. сложн. | № треб. | Усл. вып. | Максбалл | Дата испыт. | Место апроб. | Объем выборки | % вып. |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Казиев В.М. | Р | 2.8.2 | П | – | – | 2 | 10.04.05 | КБГУ | 60 | 45 |
Правило 42. Следует избегать тестовых заданий, которые требуют от испытуемых развернутых выкладок или развернутого ответа.
Правило 43. Если возможно построение качественного тестового задания закрытой формы (структуры), то желательно использование этой формы, как наиболее простой, понятной, быстро актуализируемой, адекватной общеметодологической проблеме выбора.
Каковы правила проектирования и разработки эффективных тестов? Всегда ли тест из эффективных заданий будет эффективным?
Правило 44. Тест должен быть разработан преподавателем-методистом в полном соответствии с требованиями тестологии. Содержание тестового задания релевантно знаниям предметника-составителя.
Правило 45. Если достаточно использовать качественное мономорфное тестирование (задания одинаковой формы), то нет необходимости использовать полиморфное (задания различной формы).
Правило 46. Если достаточно использовать гомогенные тесты (в пределах одной дисциплины или одной крупной темы, раздела), нет необходимости использовать гетерогенные (в рамках нескольких дисциплин, нескольких крупных тем, разделов).
Правило 47. Количество заданий в базе данных тестовых заданий должно быть примерно в 10–20 раз больше усредненной длины теста (т. е. от 300 до 1000 заданий).
Правило 48. Большинство заданий в тесте – закрытой формы. Закрытая форма более быстро воспринимаема и "обрабатываема", близка основной решаемой человеком проблеме – проблеме выбора.
Правило 49. Тест должен состоять из минимального количества заданий, достаточных для полного определения уровня обучения.
Правило 50. Задания в тесте должны быть упорядочены по возрастанию уровня сложности. Обычный порядок предъявления заданий: группа А (легкие) – группа В (средней, базовой сложности) – группа С (повышенной сложности).
Правило 51. Сложность теста нельзя "повышать" введением множества дополнительных фраз в постановку вопроса (условия) в тестовом задании.
Правило 52. При формировании тестов полезно проводить предварительное, адаптационное тестирование (тестирование с целью определения уровня знаний учащихся).
Правило 53. Только грамотные, интересные вопросы и ситуации могут вызывать у тестируемого стремление ответить, а не подобрать ответ.
Правило 54. Эффективный тест может состоять только из эффективных заданий. Эффективность тестов может зависеть и от формы и от принципа подбора заданий.
Имеем эффективный тест. Как провести эффективное тестирование с его использованием?
При тестировании преподаватель (методист-тестолог) должен выполнить вначале следующие основные условия:
Затем необходимо выполнить нижеследующие практические правила тестирования.
Правило 55. Среднее время тестирования должно составлять не более 60–90 минут. Для гетерогенных тестов эта величина может увеличиваться в несколько раз.
Правило 56. Необходимо принимать меры к минимизации "привлекательности" использования подбора (ответов "наугад", так как вероятность угадывания обычно высока и составляет 0,2–0,25 для тестов закрытой формы, например).
Правило 57. Каждый тестируемый должен сидеть "без соседа".
Правило 58. Необходимо принять все меры против шпаргалок, списывания (например, "перемешиванием" одного и того же набора заданий внутри группы).
Правило 59. Обучаемые, имеющие одинаковый и достаточный опыт работы с тестами, должны быть помещены в одинаковую операционную обстановку. Например, проводить компьютерное тестирование знаний одних обучаемых, а знаний других обучаемых в "бумажном" варианте – недопустимо даже при полностью эквивалентных тестах.
Правило 60. Оценивающие тесты эксперты должны иметь четкие критерии оценивания (первичными баллами), а в случая рассогласованности мнений двух экспертов, должен оценивать третий.
Правило 61. Группа тестируемых должна быть подобрана по единым принципам.
Правило 62. Обучающее, мотивационное тестирование может предусматривать возможность "пересдачи теста" (повышения баллов), но не более чем, например, 3 раза.
Правило 63. Аттестационное (контролирующее) тестирование не должно предусматривать возможность "пересдачи теста".
Правило 64. Для получения достаточно надёжных показателей качества тестовых заданий необходима репрезентативная выборка испытуемых, порядка 200-300 человек.
Правило 65. Тест, соответствующий уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования до 5 – 10 мин.
Правило 66. Процесс компьютерного тестирования должен обеспечивать: дружественность и мультимедийность интерфейса; интерактивность, возврат к пропущенным заданиям; систематичность.
Правило 67. Тестирующая среда (в частности, компьютерная) должна обеспечивать: интеграцию с другими формами и системами контроля и обучения; возможность обновления содержания тестовых заданий.
Правило 68. При аттестационном тестировании, испытуемые должны быть заранее ознакомлены с типовыми формами тестовых заданий, технологией работы в системе тестирования. Необходимо обеспечить возможность проведения репетиционного тестирования.
Правило 69. Оценку результатов тестирования лучше производить баллами.
Правило 70. Любое тестирование должно заканчиваться не только выставлением оценок (баллов), но и анализом результатов тестирования, выявлением уровня обучения и качества тестов.
Правило 71. Если тестирование проводится в системе оценок с двумя вариантами ответов ("да", "нет"), то и результат тестирования должен быть оценен в полярной шкале: "зачет – не зачет", "аттестован – не аттестован", "сдан – не сдан". Биполярная система – малоинформативная.
Правило 72. Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным (1–5, 0–10, 1–101 и т. д.).
Правило 73. Хотя первичные баллы могут иметь любое значение, итоговые тестовые баллы должны быть рассчитаны по 100-бальной системе.
Правило 74. Распределение баллов зависит от процента правильных ответов и может лежать в различных границах, например, часты следующие границы: "отлично" – более 95% правильных ответов, "хорошо" – 80–94%, "удовлетворительно" – 60–79%, "неудовлетворительно" – менее 60%. К сожалению, такое распределение недостаточно информативно, в частности, не классифицирует последнюю, достаточно разнообразную, группу.
Правило 75. Для измерения уровня знаний лучше использовать логарифмическую шкалу, "логиты": "логит уровня знаний" (натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов) и "логит уровня трудности задания" (натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых).
Правило 76. Итоговые заключения могут быть осуществлены лишь по итоговым баллам (точнее, по распределению этих баллов). Например, первичная оценка ("сырые баллы") неинформативна.
Такие рекомендации могут быть лишь общего плана.
Правило 77. Необходимо иметь информацию о предстоящем тестировании (резерв времени, структура теста, время и т.д.), достаточный набор соответствующих знаний и умений, т.е. иметь достаточную теоретическую подготовку и практическую тренировку.
Правило 78. Необходимо ориентироваться на разумный уровень. Например, нет смысла пытаться выполнить все задания сложной группы заданий С, если уровень подготовки – слабый, лучше успешно выполнить все задания группы А и разумного, т.е. выбранного в соответствии с лучше усвоенными темами минимума из группы В, которые обеспечивают получение положительной, а возможно, – даже хорошей оценки.
Правило 79. Важно научиться планировать время при тестировании.
Правило 80. Нахождение ответа нужно начинать с тестов более легких и продвигаться к тестам более сложным, в том порядке, как они указаны в тесте, т.е. в последовательности групп сложности А – В – С (внутри одной группы сложности заданий порядок ответа неважен).
Правило 81. Если встретилось задание, которое вызывает затруднения, лучше его пока временно пропустить и перейти к следующему заданию данной группы сложности, а после того, как все задания данной группы просмотрены, необходимо вернуться к пропущенным заданиям данной группы и попытаться еще раз их рассмотреть.
Правило 82. Если ответ к заданию построить "по знаниям" не удаётся, то следует применить метод последовательного, основанного не только на знаниях, но и на эвристиках, опыте, интуиции, исключения неверных ответов.
Правило 83. Каждый раздел, каждую тему завершайте не только решением задач, но и самотестированием.
Правило 84. В тестировании часто важно не только знание предмета (отдельных квантов знаний), но и умение быстро находить правильный выбор, связывать эти кванты.
Правило 85. Важно проводить анализ результатов тестирования и корректировать процесс обучения с целью улучшения характеристик его качества.
Правило 86. Немаловажен при подготовке к тестированию правильный выбор учебно-методической литературы – от учебников до интернет-ресурсов.
Правило 87. Необходимо иметь достаточный набор качественных тестовых заданий, составленных по вышеприведённым правилам и регулярно использовать этот набор в повседневной работе.
Правило 88. Не мешайте соседям своими вопросами – этим Вы снижите их баллы.
Правило 89. Не задавайте преподавателю вопросы по заданиям. В крайних ситуациях можно задать вопрос по непонятным моментам технологии тестирования и оформления результатов.
Рассмотрим некоторые типовые ошибки составления тестовых заданий на основе тестовых заданий по информатике и новым информационным технологиям.
Они аналогичны (с точки зрения тестологии) ошибкам и в других предметных областях.
Обозначим здесь и ниже тестовое задание с ошибками (тестологии) через T–, ошибки – через О, а откорректированное, правильное тестовое задание – через Т+.
Т–. Каждый символ при кодировании кодируется одним байтом. Слово "Тестирование" в ЭВМ обычно кодируется комбинацией длины:
О. Наличие двух предложений. Неясно, следует ли включать кавычки (как символы) в длину слова. Нестрогое слово "обычно" недопустимо.
T+. Слово "Тестирование" (без кавычек) кодируется по принципу "1 символ – 1 байт" битовой комбинацией длины:
Возможен и другой вариант:
T+. Слово "Тестирование" (без кавычек) кодируется в ASCII комбинацией длины:
Часто формулируют и так: Слово Тестирование кодируется по принципу "символ – байт" комбинацией длины...
Последний вариант нам кажется менее удачным, как с позиции грамматики русского языка, так и с позиции информатики (пояснения принципа кодировки).
Обратим здесь внимание на необходимость слова "длины". Если убрать это слово, то ответ всегда – 2 бита: любое слово всегда кодируется комбинацией из двух бит (0 и 1). Каждое слово в тесте – значащее. Лишних слов также не должно быть. Нужные – должны присутствовать все.
T–. Задуманное число до 500 можно отгадать односложными вопросами, задав их не более:
О. Условие не завершено функционально. Понятие "односложное" с точки зрения правил русского языка не требует обычно дополнительного уточнения, но с точки зрения проверяемых знаний и умений (а это принцип бинарного поиска) – предпочтительно пояснить и уточнить.
T+. Задуманное натуральное число до 500 можно отгадать двоичным поиском, задав вопросов не более:
Отметим, что наличие термина "двоичный поиск" здесь не только уместно, но и предпочтительно ("обучающий должен был это термин слышать"). Впрочем, возможна и "щадящая" постановка вопроса: "Задуманное натуральное число до 500 можно отгадать, последовательно задавая вопросы, требующие ответов "да" или "нет", задав их не более: ... .
T–. Решение системы уравнений:
16y (Mбайт)=8x (бит),
32x (Kбайт)=2y (Mбайт)
будет удовлетворять условию:
О. Ошибки преобразования единиц измерения сообщений или решения системы уравнений, допущенные на любом этапе решения, не всегда приводят к неправильному ответу. Задание не информативно. Неясны, например, причины и не видны некоторые следствия допущенных ошибок. Этот тест рассчитан на знание не только единиц измерения сообщений, но и на умение их преобразовывать друг к другу, а на "заключительном участке" – на умение решать системы показательных уравнений (это "побочный" эффект). Ошибки, допущенные на любом из этих этапов, – существенны и информативны.
Т+. Решение системы уравнений:
16y (Mбайт)=8x (бит),
32x (Kбйт)=2y (Mбайт)
имеет вид:
Т–. Если рассматривается нижеследующий фрагмент таблицы истинности некоторой функции f(x,y,z)
| х | y | Z | f |
|---|---|---|---|
| 0 | 0 | 1 | 0 |
| 0 | 1 | 1 | 0 |
| 1 | 0 | 0 | 1 |
то данной функции может соответствовать только функция:
О. Многословие, излишние слова, особенно это нежелательно в сочетание с таблицами, графиками и т.д.
T+. Фрагменту таблицы истинности:
| х | y | Z | f |
|---|---|---|---|
| 0 | 0 | 1 | 0 |
| 0 | 1 | 1 | 0 |
| 1 | 0 | 0 | 1 |
из приведенных ниже соответствует лишь логическая функция f(x,y,z):
Существенны слова "из приведенных ниже". Без них тест некорректен, допуская множество других функций, отличных от приведенных.
T–. Список основных устройств ввода-вывода персонального компьютера: процессор, сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура, регистр, содержит различных устройств ввода информации:
О. Много ключевых слов задания: "список", "основные", "устройства", "персональный компьютер", "ввод", "вывод", "информация".
T+. Список {сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура} содержит устройств ввода всего:
T–. Основные функции операционной системы:
О. Ответы – неодинаковой длины. Мало дистракторов. Слово "управление" нужно вынести в формулировку задания, а сокращение "ЭВМ" заменить на "компьютер".
T+/-. Главная функция ОС – это управление:
Нужно стараться избегать "наводящих" ответов типа 4), заменив его, например, на "ресурсами", "вычислениями" или "процессами".
T–. Фрагмент:s:=0; x:=1; нц пока (x<5); s:=s+x; x:=x+1; кц; вычисляет значение s равное:
О. Правильный ответ легко вычисляется и стоит первым в списке неупорядоченных по возрастанию или убыванию вариантов ответов.
T+. Фрагмент:
s:=0;
x:=1;
нц пока (x<5);
s:=s+x;
x:=x+1;
кц;
вычислит s равное:
Лучший вариант, все же, – "ЕГЭшный", – привести варианты записей на Бейсике, Паскале, Си, ШАЯ.
T–. В синтаксической конструкции:нц пока <предикат> <команда>...; пропущено ключевое слово:
до.кц.если.все.О. Наличие в условии задания нц подсказывает правильный ответ, даже если не понимается смысл этого ключевого слова и смысл самой конструкции, на что и было направлено данное тестовое задание.
T+. В синтаксической конструкции: нц ...<предикат> <команда> кц; пропущено ключевое слово:
до.пока.если.для.Здесь уже необходимо знание синтаксиса (и даже семантики) правильной конструкции.
T–. Графические файлы могут иметь все расширения, указанные в списке:
О. В вариантах 1), 2) присутствуют достаточно широко известные всем (в том числе и тем, кто не знает расширений графических файлов) расширения *.bas, *.exe. Кроме того, ответ 4) – длиннее. Эти ответы – менее привлекательны.
T+. Графические файлы могут иметь все типы расширений, указанные в списке:
Форма задания Т+ без звездочек также возможна, но без точки - нежелательна (почему?).
T–. Последовательное выполнение команд ШАЯ:a:=abs(–5)+ int(3.6)*mod(7,3); а:=max(mod(a,5),div(a,3))*int(a) даст значение а, равное:
О. Сокращение ШАЯ (школьный алгоритмический язык) – не вполне общепринятое и общеупотребительное, известное всем школьникам.
T+. Последовательное выполнение команд
a:=abs(–5)+int(3.6)*mod(7,3); а:=max(mod(a,5),div(a,3))*int(a)
школьного учебного алгоритмического языка даст значение а, равное:
Лучший вариант, все же, – "ЕГЭшный".
При этом корректно следующее тестовое задание.
Т+. Windows – это:
T–. Значение выражения а=10,12+8F,416–6,28 в десятичной системе равно:
О. Много дистракторов. Последние дистракторы не рассчитаны на типовые ошибки, но остальные рассчитаны на типовые ошибки. Поэтому последние два дистрактора можно "безболезненно" убрать.
T+. Десятичное значение выражения а=10,12+8F,416–6,28 равно:
Заметим, что все эти дистракторы предполагают те или иные типовые ошибки перевода (какие именно?).
T–. Для предиката р="х$$\in$$X делится нацело на 5", где X=[1;30] область истинности равна:
О. Для нецелых х из указанного множества допустимых значений предикат не определен (не определено понятие делимости нацело для нецелых чисел).
T+. Предикат "х делится нацело на 5", заданный на множестве {1, 4, 6, 16, 20, 26, 30} имеет область истинности:
Возможно использование вместо "х делится нацело на 5" выражения mod(x,5)=0, но нужно учесть, что в этом случае цель задания (его спецификация) изменяется, – проверяется еще и знание функции mod. Отметим, что в этом задании допускается неодинаковая длина дистракторов, так как мощность множества ответа – несущественна.
Другой пример ("вроде бы правильный").
Т–. Истинное значение при x=3 принимает предикат:
О. На первый взгляд, - все вроде правильно. Проведём тщательный анализ. При подстановке значения x=3 дистрактор 1) становится неопределенным (не высказывание): "для каждого 3 существует y=4"! Дистрактор 2) некорректно сравнивает два различных по типу выражения – целое int(x/2) и вещественное x/2 (при любом натуральном х значение x/2 – вещественное). Дистрактор 3) – "слегка некорректен": "произведение 15 – нечетно" (неясно, произведение каких это чисел). Если бы было сформулировано в виде "произведение 5*y - нечетно", то тогда выражение превратилось бы истинное высказывание: "произведение 5*3 – нечётно".
Т+. Предикатом с переменной x является высказывательная форма:
Здесь в правильном ответе 1) сравниваются однотипные выражения, в отличие от 2).
Этот пример (точнее, его откорректированный вариант Т+) можно отнести к группе С. Он показывает несостоятельность негласно существующего мнения, что задания группы С в тестовой форме невозможны, нельзя использовать, "хуже" и т.д. Для выбора ответа к приведенному заданию, как мы видим, понадобились достаточно глубокие знания (на что и направлена группа С).
T–. Значение выражения int(–3,8)+mod(9,4) равно:
О. Типовыми ошибками при вычислении этого выражения будут (ранжируем по экспериментально или экспертно устанавливаемой частоте их встречаемости и важности): 1) int(–3,8)= –3 (нет полных знаний о математической функции "антье" или [x], int(x)); 2) mod(9,4)=2,25 ("путают целочисленное и обычное деление"), 3) mod(9,4)=2 ("путают mod и div"). На эти ошибки и должны быть "нацелены" дистракторы. Итак, мы решили вначале "обратные" задачи. Для перечисленных типовых ошибок получаем неправильные варианты ответов: 1) –2; 2) –1,75; 3) –0,75 (комбинация 1) и 2)). Их и нужно предусмотреть в вариантах ответов.
T+. Значение выражения int(–3,8)+mod(9,4) равно:
T–. Фрагмент:нц для i от 1 до n; y:=mod(x,10); x:=div(x,10); кц; вычислит значение y равное цифре:
О. Для допустимого значения х=1 дистракторы 1), 2), 3) также становятся правильными ответами. Кроме того, возможны такие входные х, для которых дистракторы могут дать правильные числовые ответы, например, при х=11.
T+. Фрагмент:
нц для i от 1 до 4;
y:=mod(x,10);
x:=div(x,10);
кц;
вычислит для x=9631 значение y равное количеству:
T–. Пусть в тесте приведены два задания.
Задание 1. Выражение $$\overline{x\wedge y}\wedge x \vee y\wedge (x\vee\overline{\bar y\wedge x}\wedge\bar y)$$ эквивалентно:
Задание 2. После упрощения выражения $$\overline{x\wedge y}\wedge x \vee y\wedge (x\vee\overline{\bar y\wedge x}\wedge\bar y)\vee\bar x$$ получим:
О. В результате правильного решения первого задания получим ответ 4). Ясно, что ответ на второе задание равен 1, и он легко получается из ответа на первое задание. По крайней мере, если первое задание можно отнести к группе Б (с натяжкой), то второе вкупе с первым, – только к группе А (также с натяжкой), так как ориентирован на проверку знания лишь одной простой аксиомы: $$x\vee\bar x=1$$. Нарушена валидность (тестовое задание на проверку одной указанной аксиомы, как правило, - не нужно). Для сокращения времени составления задания и увеличения банка тестовых заданий, часто делают такие "добавки" к раннее придуманным корректным выражениям. Это очень вредный подход. В принципе, он допустим для формирования различных однотипных вариантов тестовых заданий. Не более.
T+. В тесте могут быть приведены, например, два следующих задания.
Задание 1. Выражение $$\overline{x\wedge y}\wedge x \vee y\wedge (x\vee\overline{\bar y\wedge x}\wedge\bar y)$$ эквивалентно:
Задание 2. Выражение $$\overline{x\wedge\bar y\vee\bar x\wedge y}$$ равносильно:
Т–. Частное от деления десятичного числа 12 на десятичное число 7 имеет меньшую относительную погрешность в представлении:
О. Гетерогенность (информатика + математика, знание абсолютной и относительной погрешности из математики и систем счисления из информатики) в этом задании не является "жизненно необходимой". Задание лучше переформулировать так, как приведено ниже.
T+. Частное от деления десятичного числа 12 на десятичное число 7 точнее представлено числом:
Понятие "точнее" здесь уже ясно хотя бы на интуитивном уровне и этого вполне достаточно для ответа (тем тестируемым, кто знает, что деление в различных системах не всегда осуществимо точно, а это также входит в проверяемые заданием знания, умения и навыки).
T–. Число различных символов в закодированном по КОИ-8 сообщении вида 1111000111010000111100011001111011010000 равно:
О. Здесь, несомненно, у тестируемого возникнет вопрос: что такое КОИ-8? Не "спасёт" и употребление вместо КОИ-8 более известного стандарта ASCII. Лучше это тестовое задание переформулировать следующим образом.
T+. Различных символов в закодированном по принципу "1 символ – 1 байт" сообщении вида 1111000111010000111100011001111011010000: 1) 6. 2) 5. 3) 4. 4) 3.
Т+. В десятичном числе из х десятков и х единиц, количество информации:
Такие тестовые задания можно вполне включать в ЕГЭ в качестве задания группы С (не требует знаний и умений, выходящих за рамки школьной программы).
Для получения официальных документов о завершении программы дополнительного профессионального образования (удостоверения о повышении квалификации, дипломов о профессиональной переподготовке и MBA) необходимо предоставить:
Внимание! Вы можете не заказывать доставку бумажной версии официального документы, а скачать его в электронном виде и распечатать самостоятельно. Информация о выданном документе в течение 1 месяца загружается в Федеральную информационную систему «Федеральный реестр сведений о документах об образовании и (или) о квалификации, документах об обучении» - ФИС ФРДО.
Доступ на новый сайт осуществляется с использованием адреса электронной почты, который был указан вами при регистрации на "старом". Мы постарались перенести все ваши данные с прежнего ресурса, однако не исключена вероятность потери части информации.
При возникновении проблемы со входом, воспользуйтесь функцией сброса пароля
Если вы обнаружите несоответствия, пожалуйста, сообщите нам.