Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т. е. должна иметься воз­можность оценки любого рассматриваемого объекта эксперти­зы по каждому из критериев.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объек­тов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально - числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собст­венности, "имидж фирмы", "социальная значимость проекта" и другие, могут быть измерены лишь субъективно.

Многие из объективных крите­риев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объ­емы производства продукции, которые станут возможными по­сле реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания яв­ляется формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к со­вокупности критериев, включаемых в состав оценочной сис­темы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную про­цедуру. Это могут быть 2—3-туровые экспертизы, когда пред­варительно сформулированный перечень критериев уточняет­ся экспертами.

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим мо­жет быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной систе­мой.

2. 3. Количественные и качественные экспертные оценки

Остановимся теперь на основных способах экспертных из­мерений — методах получения экспертных оценок, играющих во многих случаях определяющую роль при принятии важных управленческих решений.

Методы получения количественных экспертных оценок

1. Непосредственная количественная оценка

Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, из­меряемого количественно, так и в случае, когда надо оценить степень сравнительной предпочтительности различных объек­тов.

В первом случае каждый из экспертов непосредственно указывает значение показателя для оцениваемого объекта. Это может быть конкретное численное значение показателя для оцениваемого объекта, например стоимость жилой квартиры; цена единицы продукции, при которой она может иметь кон­курентоспособный спрос; предполагаемая емкость рынка; оп­тимальный объем производства и т. д.

Если эксперт затрудняется указать конкретное значение по­казателя, он может указать диапазон, в котором лежит значе­ние оцениваемого показателя.

Во втором случае, когда оценивается сравнительная пред­почтительность объектов по тому или иному показателю, ко­личественная оценка, указываемая экспертом, определяет сте­пень их сравнительной предпочтительности.

Заранее необходимо условиться, что, скажем, большее зна­чение оценки соответствует более предпочтительному альтер­нативному варианту. Иногда количественную оценку сравнительной предпочтительности объектов целесообразнее произ­водить в баллах, используя специально разработанные балль­ные шкалы.

2. Метод средней точки

Метод используется, когда альтернативных вариантов до­статочно много. Если через f(a1) обозначим оценку первого альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через f(a2) — оценку второго альтернативного вари­анта, то далее эксперту предлагается подобрать третий альтер­нативный вариант a3, оценка которого f(a3) расположена в се­редине между значениями f(a1) и f(a2) и равна f(a1) + f(a2)/2.

При этом в качестве первого и второго альтернативных ва­риантов целесообразно выбирать наименее и наиболее пред­почтительные альтернативные варианты.

Далее эксперт указывает альтернативный вариант a4, значе­ние которого f(a4) расположено посередине между f(a1) и f(a3), и альтернативный вариант a5, значение которого f(a5) располо­жено посередине между значениями f(a1) и f(a4).

Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтерна­тивных вариантов.

3. Метод Черчмена — Акофа

Метод Черчмена — Акофа используется при количествен­ной оценке сравнительной предпочтительности альтернатив­ных вариантов и допускает корректировку оценок, даваемых экспертами.

В методе предполагается, что оценки альтернативных вари­антов — неотрицательные числа, что если альтернативный ва­риант a1 предпочтительнее альтернативного варианта а2, то f(a1) больше, чем f(a2), а оценка одновременной реализации альтернативных вариантов a1 и а2 равняется f(a1) + f(a2)).

Все альтернативные варианты ранжируются по предпочти­тельности, и каждому из них эксперт назначает количествен­ные оценки, как правило, в долях единицы.

4. Метод лотерей

Согласно этому методу, для любой тройки альтернативных вариантов а1, а2, а3, упорядоченных в порядке убывания пред­почтительности, эксперт указывает такую вероятность p, при которой альтернативный вариант а2 равноценен лотерее, при которой альтернативный вариант a1 встречается с вероятно­стью р, а альтернативный вариант а3 — с вероятностью 1 — р.

Методы получения качественных экспертных оценок

Иногда специфика объектов экспертного оценивания тако­ва, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных ва­риантов к установленным и принятым к использованию клас­сам, категориям, уровням, сортам и т. д. (далее — классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объ­екты, заранее не определены. Может быть заранее не опреде­лено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь по­сле завершения процедуры классификации.