Но суждения носят оценочный характер и отражают ценностные установки самого эксперта. Здесь велик соблазн для эксперта принять (самому) и представить (другим) свои внутренние критерии в качестве объективных [11, с. 78]. На оценки и суждения экспертов обычно оказывают влияние факторы, которые нельзя отнести к числу научных аргументов: авторитет и заслуги коллег, ранее высказавших суждение; эмоциональная окраска утверждений оппонента и т.п. [20, с. 56]. Поэтому, прежде чем работать с матрицей дальше, следует провести проверку на согласованность экспертных оценок внутри рабочей группы. Для этого найдем суммы Ri по каждой строке:

Ri= ri1+…+ riк+…+ riп

Выберем среди этих сумм наибольшую Rmax и наименьшую Rmin. Вычислим размах: ΔR=Rmax – Rmin. Согласованность экспертных оценок считается достаточно высокой, если ΔR= m >. В противном случае требуется более точная и трудоемкая дополнительная проверка по дисперсии. С вероятностью 90% между экспертными оценками имеется достаточная согласованность, если

D>(0,22m+0,50),

где =– среднее арифметическое, а D=– дисперсия.

Формула применима для количества оцениваемых объектов от трех до двадцати.

Если согласованность экспертов достигнута, то дальнейшая процедура проста: объекту с наименьшей суммой рангов присваивается ранг 1, следующему – ранг 2 и т.д. Объект с наименьшей суммой рангов получает итоговый ранг m.

Рассмотрим это в конкретных числах. Предположим, что в конкурсе на оригинальное решение логических задач претендуют на победу 4 ученика: А, Б, В, Г. Жюри из пяти учителей-математиков должно присудить им места и награды. Для этого каждый член жюри указывает место, которое он считает нужным присудить каждому из победителей. В итоге получены следующие оценки:

Находим теперь:

Rmax = R2 =18;

Rmin= R3=8;

ΔR=Rmax – Rmin=10.

Условие ΔR= m >в нашем случае имеет вид 10>и не выполняется. Значит, нужна более точная оценка, для чего вычислим нужные значения параметров:

===12,5;

D===23.

Условие согласованности в числах имеет вид 23>(0,22·4+0,50)·12,5 и выполняется (23>17,25). Следовательно, согласованность оценок жюри обеспечена. Поэтому можно ранжировать победителей по суммарным рангам.

Таким образом, первое место присуждено ученику В, второе – ученику Г и так далее:

Если экспертные оценки в группе не согласованны (не выполняется критерий по дисперсии), то следует переформировать группу экспертов и повторить процедуру. При этом может меняться число экспертов. Заметим, что критерий по размаху очень жесткий. Например, если 3 эксперта по 4 объектам дали одинаковые оценки, то Rmax =12, Rmin=3, ΔR=9 и условие 9>не выполняется, то есть оценки не согласованны. Но если то же самое сделали 4 эксперта, то Rmax =16, Rmin=4, ΔR=12 и 12>, следовательно, их оценки согласованны [3, с. 43].

Вернемся к рейтинговой системе. Независимо от того, какой вариант выбран – общая шкала или попредметная, необходимо составить список всех оцениваемых учебных действий, то есть от того, за счет чего ученик сможет набирать очки. Задача составления такого списка не так проста, как может показаться на первый взгляд. Ее можно совместить с процедурой ранжирования, когда каждый эксперт приводит оцениваемые действия уже упорядоченным списком, но при таком варианте будет слишком много элементов списка, не имеющих полного комплекта оценок. В результате невозможно применить процедуры проверки на согласованность. Поэтому сначала надо получить максимально полный список, опросив учителей и добавив новые предложения к уже имеющимся. Затем следует ранжировать полученный список, применяя полученную выше процедуру. Для этого создается экспертная группа из наиболее профессионально компетентных, опытных учителей. В случае, если не удается добиться согласованности оценок, можно изменить ее состав либо исключить из списка оцениваемых действий те, по которым разброс экспертных оценок слишком велик.