Для проверки работоспособности выбранной системы показа­телей качества необходимо устанавливать степень корреляции каждого рассматриваемого показателя с качеством ПС, полез­ность показателя, возможность количественного представление и автоматической оценки показателя. В частности, оценку полезности каждого из выбранных показателей для конкретных ПС рекомендуется производить по следующей шкале:

5—крайне важно, чтобы данный показатель имел высокое значение;

4—важно, чтобы данный показатель имел высокое значение;

3—хорошо бы иметь высокое значение данного показателя;

2— в некоторой степени полезно иметь высокое значение дан­ного показателя;

1—при низких значениях данного показателя ощутимых по­терь нет,

Около 50 % частных показателей можно определить автоматически с помощью ЭВМ, 25 % —с помощью компаратора. Таким обра­зом, оценка около 75 % показателей может быть формализована. Оценка 20 % показателей может быть произведена только квалифицированным специалистом. Большинство показателей устанавливают путем статического анализа программ и лишь около 5 % — в процессе динамических испытаний (Данные соответствуют положению в этой области в 80-е годы).

Следует иметь в виду, что оценка качества, а следовательно, к выбор показателей качества сложных многофункциональных про­граммных комплексов типа операционных систем, систем управ­ления базами данных, пакетов прикладных программ и так да­лее имеет свои особенности. Каждая функция таких ПС реали­зуется программным путем, задающим определенный технологи­ческий процесс преобразования входных данных в выходные. Известны цель этого процесса и потребность в нем, Для того чтобы удовлетворить эту потребность, ПС должна обладать определенными свойствами. Причем свойства ПС, удовлетворяю­щие потребности в одной функции, могут существенно отличаться от свойств ПС, необходимых для реализации другой функции. Поэтому степень удовлетворения потребности в выполнении каж­дой из функций ПС в общем случае характеризуется своими показателями или, по крайней мере, параметрами весомости по­казателей. Возникает необходимость выбора показателей и опре­деления их весомости для оценки качества (эффективности) реа­лизации каждой из основных функций ПС. Попытка выбора еди­ной номенклатуры показателей качества оказывается, как пра­вило, безрезультатной. В этом можно легко убедиться на примере оценки качества операционных систем (ОС) ЭВМ. На ОС ЭВМ возлагаются следующие функции: управление данными, задания­ми, вводом-выводом; обслуживание библиотек пользователей;

трансляция и редактирование программ; протоколирование со­стояний и событий; перезапись и сортировка информации и др. Очевидно, что требования, например, к трансляторам существен­но отличаются от требований к ПС протоколирования событий как по своему перечню, так и по весомости каждого из показате­лей. В свою очередь различие требований обусловливает необхо­димость использования различных показателей качества, харак­теризующих потребительские свойства программ, реализующих эти функции.

4. ГРУППЫ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Любому классу продукции присущи определенные свойства, характерные для данного класса. В свою очередь каждый под­класс, группа, вид этой продукции имеет частные свойства, отличающие изделия одной классификационной груп­пировки от другой. Рассмотрим формирование номенклатуры по­казателей качества, характеризующей общие свойства класса программной продукции. Эта номенклатура может быть исполь­зована в качестве исходной при выборе рабочей номенклатуры показателей качества любого конкретного ПС.

Номенклатуры показателей качества всегда имеют иерархиче­скую структуру. Их формирование начинается с выделения групп верхнего уровня иерархии, а затем номенклатуры детализиру­ются вплоть до получения единичных показателей.

Выделение групп показателей качества является важной и сложной задачей формирования номенклатуры показателей каче­ства. Неудачное комплектование групп может привести к услож­нению взаимосвязей между группами и отдельными показателя­ми, а также сделать номенклатуру показателей качества мало­конструктивной.

Известно, что для оценки качества промышленной продукции используют следующие группы показателей: на­значения; экономичного использования сырья, материалов, топ­лива, энергии; надежности; эргономичности; эстетичности; техно­логичности; патентно-правовые; унификации и стандартизации; экологичности; безопасности.

Все эти показатели можно использовать и при оценке качества ПП. По в силу особенностей ПП некоторые группы показателей при оценке ее качества применять нецелесообразно (неконструк­тивно). К таким показателям относят показатели экологичности, безопасности.

Экологические показатели и показатели безопасности нехарактерны для ПП, так как программные изделия непосредст­венно не могут оказывать вредных воздействий ни на окружаю­щую среду, ни на здоровье человека. В принципе, такие воздей­ствия возможны в тех случаях, когда ПИ используют в качестве элементов управляющих объектов, например в АСУ. В этом слу­чае вырабатываемые ЭВМ по определенному алгоритму управ­ляющие воздействия могут вызвать и неблагоприятные экологи­ческие последствия, и быть опасными для человека. Но это уже косвенное воздействие через управляющие органы и исполни­тельные механизмы автоматизированных технологических ком­плексов (АТК). Они учитываются как соответствующие показа­тели AT К.

Патентно-правовые показатели программной продукции не могут быть использованы до тех пор, пока вопросы патентно-правовой защиты этой продукции не будут решены в законодатель­ном (юридическом) плане.

Относительно надежности программной продукции сущест­вует много противоречивых мнений. Вместе с тем большинство специалистов единодушны в мне­нии о том, что природа надежности программных и технических средств различна. Для программной продукции малопродуктив­ными являются такие показатели надежности, как долговечность, сохраняемость, ремонтопригодность. Источниками низкой надеж­ности ПС в основном являются ошибки в программах, внесенные на стадии проектирования и невыявленные при отладке и испыта­ниях. Заслуживает внимания мнение американского специалиста Фокса Д., который считает, что использование термина «надеж­ность программного обеспечения» наносит вред, так как способ­ствует неправильному пониманию природы программного обеспе­чения . Вместе с тем следует учитывать тот факт, что при анализе некоторых свойств ПП, проявляющихся при ее функцио­нировании, приходится пользоваться категориями надежности (работоспособность, отказ, сбой, восстановление и др.). Поэтому в номенклатуре показателей качества ПП признано целесообраз­ным выделять в отдельную группу показатели, характери­зующие свойства ПП, близкие по своим внешним проявлениям показателям надежности аппаратуры. Эта группа названа пока­зателями надежности функционирования.

Таким образом, в базовой номенклатуре показателей качества ПП на верхнем уровне выделяем следующие показатели: назна­чения, надежности функционирования, эргономичности, техноло­гичности, унификации и стандартизации. Качество ПП в основ­ном формируется в процессе создания продукции и в значитель­ной мере зависит от эффективности структурных (конструктив­ных) решений. Поэтому на этом же уровне в отдельную группу выделим структурные показатели.