СТАНДАРТ ОАО «РЖД» ЭРГОНОМИЧЕСКИЕ ТРЕБОВАНИЯ УЧЕБНО-ТРЕНАЖЕРНЫЕ ЦЕНТРЫ СТО РЖД 1.08.001 — 2012 (часть 27) от 29 февраля 2012 г. N 421р

10.5 Требования к методике конструирования педагогических тестов

10.5.1 Педагогический тест должен содержать систему тестовых заданий возрастающей трудности, позволяющих измерить уровень знаний (умений, навыков, представлений) по курсу или учебной дисциплине, достигнутый на момент проверки. Соответственно следует применять:

— узконаправленные тесты, ориентированные на измерение уровней усвоения отдельных курсов (дисциплин);

— широко направленные тесты, ориентированные на измерение уровней усвоения знаний, навыков и умений по основным, рассчитанным на продолжительное время целям обучения, и для профессиональной сертификации обучаемых.

10.5.2 Тестовое задание должно контролировать определенную дозу учебного материала и предполагать ввод:

— ответа, получаемого обучаемым путем расчета или применения правила;

— выбранного, по мнению обучаемого, правильного варианта ответа среди предложенных в меню;

— конструируемого ответа путем выбора элементов ответа из представленной на экране избыточной таблицы или путем заполнения обучаемым пропущенных данных в представленной на экране форме.

10.5.3 Разработка исходной совокупности тестовых заданий педагогического теста должна предусматривать:

— составление на основе анализа соответствующих учебных программ и учебных материалов спецификации теста, в которой должны быть перечислены тестируемые темы, задачи (процессы) обучения, а также указаны относительные значения каждой темы, задачи (процесса) для достижения целей обучения;

— разработку тестовых заданий, охватывающих главные аспекты спецификации в правильной пропорции (с учетом значимости).

10.5.4 Исходная совокупность тестовых заданий должна быть подвергнута, в соответствии с правилами, принятыми в психодиагностике, процедурам:

— апробации на контрольной группе испытуемых, прошедших обучение (тестирование испытуемых);

— статистической обработки данных тестирования;

— «усечения» исходной совокупности тестовых заданий;

— стандартизации теста на выборке испытуемых (перевода первичных тестовых оценок в принятую 4-балльную шкалу);

— оценки качества полученного в результате «усечения» педагогического теста по показателям надежности и содержательной валидности.

10.5.5 «Усечение» исходной совокупности тестовых заданий должно предусматривать удаление заданий:

— выполняемых более чем 90% испытуемых контрольной группы (слишком легких);

— выполняемых менее чем 20% испытуемых контрольной группы (слишком трудных);

— коррелирующих с суммой баллов испытуемых с коэффициентом корреляции, меньшим 0,15 («слабых»);

— имеющих много отрицательных значений коэффициентов корреляции с другими заданиями («плохо работающих»).

10.5.6 Надежность теста — это согласованность, выраженная коэффициентом корреляции результатов одних и тех же испытуемых при повторном тестировании тем же тестом или эквивалентной его формой. Надежность теста с коэффициентом 0,8-0,89 должна рассматриваться как «хорошая», с коэффициентом 0,9-0,99 — как «отличная». Чем выше показатель надежности теста, тем меньше стандартная ошибка измерения индивидуального результата.

Содержательная валидность — это репрезентативность (представительность) выборки тестовых заданий знаниям (навыкам, умениям), требуемым по учебной дисциплине или виду деятельности. Оценку содержательной валидности должны осуществлять эксперты путем сопоставительного анализа всех тестовых заданий и спецификации теста.

Коэффициенты содержательной валидности 0,5-0,74 должны рассматриваться как «хорошие», 0,75 и выше — как «отличные».

Педагогические тесты с показателями надежности и содержательной валидности ниже «хорошо» должны дорабатываться.

10.5.7 При использовании в тестовом задании готовых вариантов ответов должны быть приняты меры по снижению вероятности получения положительных оценок путем подмены активного воспроизведения знаний процессом узнавания правильных ответов или путем применения тактики случайных ответов.