ВЫБОР КРИТЕРИАЛЬНОГО БАЛА
Аккредитационные комиссии проверяющие вуз всегда пользуются тестами. В процессе аккредитации стороны (вуз-комиссия) оговаривают следующие вопросы
1) как проверять
2) чьи будут тесты и как им доверять
3) если тесты вуза, то имеется на них сертификат
4) имеется ли у вуза система тестового контроля (СТК).
В СТК должны входить различные виды обеспечений:
Наборы тестов (входной, текущий, итоговый, диагностический и др.);
Инструментальное обеспечение;
Кадровое обеспечение.
На западе: Чем лучше СТК, тем выше рейтинг университета.
С чего начать? На первых шагах вуз должен разработать тесты текущего и диагностического контроля. Создавать можно тесты по разделам дисциплины, а затем по ним разрабатывать итоговые тесты.
Подсчет (выбор) критериального балла производят в следующей последовательности:
Оценка интервалов истинности теста;
Оценка профессиональности теста;
Интерпретация результатов.
Для нормативно-ориентированного теста процент выполнения заданий должен составлять примерно 50%, а для критериального теста – 80..90%. Тест должен состоять в среднем из 20 заданий. В каждом задании дается не более 5 ответов, из которых один – правильный. Основная задача при отладке теста – выровнять дистрактор. Точечно-бисериальный коэффициент для дистрактора должен быть отрицательным. Аттестационный тест всегда делается под реальную выборку студентов и должен иметь 90% проходимости.
В реальной выборке рассматриваются 30% слабых и 30% сильных студентов, то есть эмпирическая валидность критериального балла осуществляется методом контрастных групп. Для этого проводится экзамен на потоке, а затем сильным и слабым выдается тест. По результатам теста строиться график.
.
% студентов
из каждой
группы
слабые сильные
10 20 30 40 50 60 70 80 90 100
% правильных ответов
точка эмпирического критериального балла
Доверительный интервал для выбора истинного балла студентов определяется по формуле
Примечание: цифры взяты из предыдущих примеров.
При подсчетах используют также альфа-коэффициент доверительного интервала (0,05) и коэффициент Стьюдента (1,96).
Слабые Сильные
Xi – 1,96Se Xi – 1,96Se
Регрессия к среднему
Здесь средний балл был 7, а принимаем 6,5.
НЕДОСТАТКИ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ
1.Отсутствие дифференциальной ошибки измерения
2.Зависимость оценок от трудности заданий теста. (см. книгу 3).
3. Зависимость оценок от уровня подготовленности студента. (см. книги 6 и 4).
Какими измерительными шкалами мы пользуемся?
1 шкала – (зачет-незачет) – номинальная.
2 шкала – (1,2,3,4,5 и т.д.)- порядковая .
3 шкала – интервальная, а ее в классической теории тестов нет.
Теория латентно-структурного анализа (ЛСА)
В США – Item Response Theory- математическая теория параметрической оценки испытуемых и заданийсогласно которой установлено, что
Между наблюдаемым результатом выполнения теста и латентным параметром испытуемых есть некоторая зависимость, которую можно выразить с помощью функции
Qi – латентный параметр i –студента,
Bj – параметрические трудности j- задания.
Все зависимости можно выразить с помощью такого треугольника
Qi Bj
xi,j
Если Qi /Bj это – отношение, то Qi-Вj- это вектор (логит). С помощью логита определяется планка выполнения теста как 50/50 процентов, т.е. та вероятность, которая утверждает, что студент может взять барьер (тест), а может и не взять. Или буквенно выразить так
Xi Qi
Rj Bj,
Первое показывает связь между параметрами и заданием, второе – связь между наблюдаемым и латентным. Или формулой
Θi B
Bj Θ
С помощью этого выражения можно подсчитать
1 случай (верхняя стрелка)
вероятность правильного выполнения i-студентом различных по трудности заданий
или
Случай (нижняя стрелка)
вероятность правильного выполнения j-задания различными студентами
Pi
| B>>0
| Pi 0
| B<<0
| Pi 1
| Q = B
| Pi =1/2
| Индивидуальная вероятностная кривая i-студента
Pi
0,5 1 ß
Pj
| Bj>>Q
| Pj 0
| Bj<<Q
| Pj 1
| Bj=Q
| Pj =1/2
| Характеристическая кривая j-задания
Pj
C
(Q -B)=(Q+C)-(B+C)
Bj Bj+1 ß
Qj Qj+1
Основной вывод теории IRT (автор Rasch, и все тойфелы по нему) звучит так:
Если взять трудное задание, то с прежней вероятностью на него будет отвечать тот студент, у которого уровень подготовки изменится на ту же константу (С), что и уровень задания
КАК ВЫБИРАТЬ ЛОГИТ
Используют следующие формулы.
Для логита подготовки
Для логита трудности
Θi , Bj – логиты, на которых построены тесты Бенджиамина Райта (Benjiamin Wright).
Не нашли, что искали? Воспользуйтесь поиском по сайту:
©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.
|