Сертификационные испытания проводятся лабораторией только на лицензионном системном программном обеспечении с применением инструментальных средств тестирования. Инспекционный контроль сертифицированных ПС проводится органом по сертификации "Сертинформ ВНИИНМАШ" не реже одного раза в год. Наряду с этим отмечаются случаи представления на испытания ПС с недооформленной программной и эксплуатационной документацией, без контрольных примеров. Не полностью сформированные комплекты файлов ПС, направленных на сертификацию, не позволяют иногда даже инсталлировать эти программы.

При подаче заявок на сертификацию ПС организации-разработчики не всегда просят оценить ПС на соответствие полному перечню требований государственных стандартов и нормативных документов. Изменение такого подхода разработчиков могло бы существенно поднять качество ПС и обеспечить более высокий спрос на рынке прикладных программ, тем более что для анализа прикладных программ экономической направленности ГОСТ 28195-89 рекомендует оценивать такие показатели качества, как работоспособность, доступность программных и эксплуатационных документов, полноту реализации, согласованность, логическую корректность и проверенность.

Результаты сертификационных испытаний подтвердили необходимость дальнейшего совершенствования процесса подготовки и проведения сертификации ПС. При подготовке к сертификации многое зависит от организации-разработчика ПС. Подавая заявку на добровольную сертификацию ПС, изготовитель самостоятельно определяет, на соответствие каким именно государственным стандартам будет проводиться сертификация его продукции, какому нормативному документу должны соответствовать выходные формы разработанного ПС.

Что же касается разработчика ПС, уже имеющего сертификат соответствия, то ему важно помнить, что выданный сертификат соответствия распространяется на ПС только той версии, которая подвергалась испытаниям, и не может подтверждать ее соответствие установленным требованиям документов при внесении последующих изменений.

Аттестационные испытания программных средств

Аттестация ПС - это авторитетное подтверждение качества ПС. Обычно для аттестации ПС создается представительная (аттестационная) комиссия из экспертов, представителей заказчика и представителей разработчика. Эта комиссия проводит испытания ПС с целью получения необходимой информации для оценки его качества. Под испытанием ПС мы будем понимать процесс проведения комплекса мероприятий, исследующих пригодность ПС для успешной его эксплуатации (применения и сопровождения) в соответствии с требованиями заказчика. Этот комплекс включает проверку полноты и точности программной документации, изучение и обсуждение других ее свойств, а также необходимое тестирование программ, входящих в состав ПС, и, в частности, соответствия этих программ имеющейся документации.

На основе информации, полученной во время испытаний ПС, прежде всего должно быть установлено, что ПС выполняет декларированные функции, а также должно быть установлено, в какой степени ПС обладает декларированными примитивами и критериями качества. Таким образом, оценка качества ПС является основным содержанием процесса аттестации. Произведенная оценка качества ПС фиксируется в соответствующем решении аттестационной комиссии.

Известны следующие виды испытаний ПС, проводимых с целью аттестации ПС:

испытания компонент ПС;

— системные испытания;

— приемо-сдаточные испытания;

— полевые испытания;

— промышленные испытания.

Испытания компонент ПС - это проверка (тестирование) работоспособности отдельных подсистем ПС. Проводятся только в исключительных случаях по специальному решению аттестационной комиссии.

Системные испытания ПС - это проверка (тестирование) работоспособности ПС в целом. Может включать те же виды тестирования, что и при комплексной отладке ПС. Проводится по решению аттестационной комиссии, если возникают сомнения в качестве проведения отладки разработчиками ПС.

Приемо-сдаточные испытания являются основным видом испытаний при аттестации ПС. Именно с этих испытаний начинает работу аттестационная комиссия. Эти испытания начинаются с изучения представленной документации, в том числе, и документации по тестированию и отладке ПС. Если в документации отсутствуют достаточно полные результаты тестирования ПС, аттестационная комиссия может принять решение о проведении системных испытаний ПС или о прекращении процесса аттестации с рекомендацией разработчику провести дополнительное (более полное) тестирование ПС. Кроме того, во время этих испытаний могут выборочно пропускаться тесты разработчиков, а также контрольные задачи пользователей (см. лекцию 10) и дополнительные тесты, подготовленные комиссией для оценки качества аттестуемого ПС.

Полевые испытания ПС - это демонстрация ПС вместе с технической системой, которой управляет эта ПС, узкому кругу заказчиков в реальных условиях и осуществляется тщательное наблюдение за поведением ПС. Заказчикам должна быть предоставлена возможность задания собственных контрольных примеров, в частности, с выходов в критические режимы работы технической системы, а также с вызовом в ней аварийных ситуаций. Это дополнительные испытания, проводимые по решению аттестационной комиссии только для некоторых ПС, управляющих определенными техническими системами.

Промышленные испытания ПС - это процесс передачи ПС в постоянную эксплуатацию пользователям. Представляет собой период опытной эксплуатации ПС пользователями со сбором информации об особенностях поведения ПС и ее эксплуатационных характеристиках. Это завершающие испытания ПС, которые проводятся по решению аттестационной комиссии, если на предшествующих испытаниях получена недостаточно полная или надежная информация для оценки качества аттестуемого ПС [3].

Оценка качества ПС по каждому из критериев сводится к оценке каждого из примитивов, связанных с этим критерием качества ПС, в соответствии с их конкретизацией, произведенной в спецификации качества этого ПС. Методы оценки примитивов качества ПС можно разделить на четыре группы:

1. непосредственное измерение показателей примитива качества;
2. обработка программ и документации ПС специальными программными инструментами (процессорами);
3. тестирование программ ПС;
4. экспертная оценка на основании изучения программ и документации ПС.

Непосредственное измерение показателей примитива качества производится путем подсчета числа вхождений в тот или иной программный документ характерных единиц, объектов, конструкций и т.п., а также путем измерения времени работы различных устройств и объема занятой памяти ЭВМ при выполнении контрольных примеров. Например, некоторым показателем эффективности по памяти может быть число строк программы на языке программирования, а некоторым показателем эффективности по времени может быть время ответа на запрос. Использование каких-либо показателей для примитивов качества может определяться в спецификации качества ПС. Метод непосредственного измерения показателей примитива качества может сочетаться с использованием тестирования программ.