Анализ тестовых материаловРефераты >> Математика >> Анализ тестовых материалов
ln (qj /pj) называют логит трудности задания ( δ ). Симметрично введена логарифмическая оценка уровня знаний, так называемый, логит уровня знаний, равный ln (pi /qi) ( θ ). Для нашего случая был взят средний логит уровня знаний (ln (pi / qi) = - 0,3494).
Воспользовавшись основной формулой метода Раша и получив соответствующие значения для каждого задания, можно сделать вывод: для данной группы испытуемых оказались сложными задания с номерами 8, 1, 6.
Для общей матрицы результатов (124 человека) значения для каждого задания распределились следующим образом:
№ вопроса |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
|
0,5180 |
0,6716 |
0,8601 |
0,6388 |
0,8388 |
0,5448 |
0,7578 |
0,2851 |
Исходя из этих данных можно сделать вывод, что следует уделить внимание заданию под номером 8 (слишком малая вероятность выполнения этого задания). Задания с номерами 3, 5 напротив обладают большой вероятностью их выполнения.
В программе реализация метода выглядит так:
В верхней таблице представлена исследуемая матрица результатов, в нижней – рассчитанные по модели Раша вероятностные коэффициенты.
2.2. Точечно-бисериальный коэффициент корреляции.
Второй метод основан на подсчете точечно-бисериалного коэффициента корреляции, который позволяет определить валидность тестовых заданий по формуле:
Для подсчета стандартного отклонения необходимо найти дисперсию:
, где среднее значение , а - индивидуальный балл каждого испытуемого из N числа участников. Стандартное отклонение тогда выразится, как:
.
Для нашего случая значения принимают вид:
Для матрицы результатов коэффициенты точечно–бисериальной корреляции представлены в таблице:
вопрос |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
|
0,56 |
0,52 |
0,25 |
0,35 |
0,32 |
0,44 |
0,38 |
0,40 |
Исходя из этих данных, можно сделать вывод: следует пересмотреть задания под номерами 3, 4, 5. В целом задание можно считать валидным, когда значение точечно-бисериального коэффициента приблизительно равно 0,5.
В программе, соответсвенно, этот метод реализован аналогично методу Раша, т.е. на форме представлены загружаемая матрица результатов тестирования и таблица с рассчитанными коэффициентами точечно-бисериальной корреляции:
Управление и общий порядок работы с формой не изменился.
2.3. Коэффициент корреляции.
Следующим классическим методом используется метод подсчета коэффициента корреляции. Вычисляются показатели связи между результатами по отдельным заданиям теста.
Корреляция в широком смысле означает связь между процессами.
Формула коэффициент корреляции:
где - доля испытуемых, выполнивших правильно оба задания теста, т.е. доля тех, кто получил 1 по обоим заданиям; - доля испытуемых, правильно выполнивших j-ое задание,
а - доля испытуемых, неверно выполнивших или невыполнивших j-ое тестовое задание.
Результаты подсчета помещены в таблице:
Номера заданий. | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ||
Номера заданий. | 1 | 1,00 | 0,41 | 0,12 | 0,10 | 0,12 | 0,25 | 0,09 | 0,25 |
2 | 0,41 | 1,00 | 0,06 | 0,13 | 0,02 | 0,16 | 0,10 | 0,13 | |
3 | 0,12 | 0,06 | 1,00 | -0,05 | 0,16 | -0,06 | 0,11 | -0,06 | |
4 | 0,10 | 0,13 | -0,05 | 1,00 | -0,01 | 0,02 | 0,12 | 0,13 | |
5 | 0,12 | 0,02 | 0,16 | -0,01 | 1,00 | 0,19 | -0,09 | 0,13 | |
6 | 0,25 | 0,16 | -0,06 | 0,02 | 0,19 | 1,00 | 0,09 | 0,21 | |
7 | 0,09 | 0,10 | 0,11 | 0,12 | -0,09 | 0,09 | 1,00 | 0,18 | |
8 | 0,25 | 0,13 | -0,06 | 0,13 | 0,13 | 0,21 | 0,18 | 1,00 | |
Сумма | 1,97 | 1,84 | 1,09 | 1,19 | 1,33 | 1,55 | 1,38 | 1,55 |