знание назначения испытываемого ПС, условий его функцио­нирования и требований к нему со стороны пользователей;

автоматизацию всех наиболее трудоемких процессов и прежде всего моделирование среды функционирования, включая иска­жающие воздействия;

ясное представление цели и последовательности испытания;

целенаправленность и неизбыточность испытания, исключаю­щие или минимизирующие повторение однородных процедур при одних и тех же условиях функционирования испытываемого ПС;

систематический контроль за ходом, регулярное ведение про­токола и журнала испытания;

четкое, последовательное определение и исполнение плана испытания;

четкое сопоставление имеющихся ресурсов с предполагаемым объемом испытания;

возможность обеспечения, а также объективной количествен­ной оценки полноты и достоверности результатов испытания навсех этапах.

Любому виду испытаний должна предшествовать тщательная подготовка. В подготовку испытаний ПС входят следующие меро­приятия:

составление и согласование плана-графика проведения испы­тания;

разработка, комплектование, испытание и паспортизация про­граммно-технических средств, используемых при испытаниях;

анализ пригодности испытательных средств, используемых во время предварительных испытаний, для проведения приемочных испытаний;

анализ пригодности накопленных данных о качестве ПС для использования при окончательном определении значений показа­телей качества испытываемого ПС;

проверка и согласование с представителем Заказчика кон­структорской документации на ПС, предъявляемой при испыта­ниях;

разработка, согласование и утверждение программ и методикиспытаний;

аттестация специалистов на допуск к проведению испытаний;

приемка испытываемого опытного образца ПС на носителе данных и документации;

проведение мероприятий, направленных на обеспечение до­стоверности испытаний.

Особо следует подчеркнуть необходимость заблаговременной разработки и испытания всех программно-технических средств, которые будут использоваться при проведении испытаний. При этом следует иметь в виду, что уровень точности и надежности измерительной аппаратуры, используемой при испытаниях любого объекта, должен быть значительно выше соответствующих показателен испытываемого объекта. Поэтому реальные харак­теристики программно-технических испытательных средств необ­ходимо установить заранее, а их приемлемость согласовывать между разработчиками, испытателями и заказчиками ПС. Пре­небрежение этим правилом вызывает недоверие к результатам испытания и, как следствие, удлинение сроков испытания.

Сложность программно-технических испытательных средств, требования к их совершенству, а следовательно, и затраты ре­сурсов на их разработку прямо пропорционально зависят от соответствующих показателей испытываемых ПС. Объем испы­тательных программных средств, выраженный в машинных командах, может достигать объема испытываемых с их помощью программ. Поэтому разработка программно-технических средств, предназначенных для испытания особо сложной ПП, должна начинаться одновременно с разработкой опытных образцов про­дукции.

На основании изложенного можно определить следующие пять этапов испытания.

1. Обследование проектируемого ПС, анализ проектной доку­ментации.

2. Определение наиболее важных подсистем, функций и путей проектируемого ПС, подлежащих испытанию.

3. Анализ показателей качества ПС и методов определения их значений. Разработка программ и методик испытания.

4. Разработка (освоение) испытательных программно-техни­ческих средств, библиотек тестов и баз данных (если они требу­ются).

5. Непосредственное проведение испытаний, анализ результа­тов, принятие решения.

На рис. 16 изображена технологическая схема в виде этапов подготовки и проведения испытания и их связи с этапами раз­работки ПС.

Рис. 16. Технологическая схема испытания ПС.

В зависимости от специфики, условий применения, требований к качеству испытываемых ПС испытания могут проводиться либо путем тестирования, либо путем статистического моделирования среды функционирования, либо на основе натурных и смешан­ных экспериментов. Часто полезно использование всех этих мето­дов. Значения некоторых показателей качества можно получить экспертным путем.

3. ПЛАНИРОВАНИЕ И ОЦЕНКА ЗАВЕРШЕННОСТИ ИСПЫТАНИЙ.

План проведения испытаний должен быть ориентирован на обеспечение всесторонней проверки ПС и максимальной (задан­ной) достоверности полученных результатов при использовании ограниченных ресурсов, выделенных на испытаниях. Принципи­ально возможны следующие подходы к решению этой задачи:

1) анализируют весь диапазон входных данных. На основе анализа заранее готовят такое множество комбинаций данных (тестовых наборов данных), которое охватывает наиболее харак­терные подмножества входных данных. Программу рассматри­вают как черный ящик. Испытания сводятся к последователь­ному вводу тестовых наборов данных и анализу получаемых результатов;

2) анализируют множество ситуаций, которые могут возник­нуть при функционировании ПС. Выбирают наиболее характер­ные ситуации. Каждую из них выражают через тестовый набор входных данных. Далее сущность испытания и анализа результатов сводится к подходу 1);

3) с помощью графовой модели анализируют микроструктуру ПС. Выбирают множество путей, которое полностью покрывает граф-схему ПС, и такую последовательность тестовых наборов исходных данных, выполнение которой будет проходить по выделенным путям. Организация испытаний аналогична подходам 1) и2);

4) ПС испытывают в реальной среде функционирования;

5) ПС испытывают в статистически моделируемой среде функционирования, адекватной реальной среде.

Ни один из этих подходов не является универсальным. Каждый из них имеет свои преимущества и недостатки, которые в разной степени проявляются в зависимости от специфики испытываемого ПС. Например, подход 1) может оказаться предпочтительным, если диапазон входных данных обозрим, сравни­тельно легко анализируется и систематизируется, и неприемлемым — в противном случае. Наиболее достоверные результаты получаются при испытаниях в реальной среде функционирования. Но такие испытания редко удается осуществить. Поэтому на практике используют комбинации всех видов. Типичным приме­ром такой комбинации может служить смешанный метод, когда среда функционирования ПС моделируется, а достоверность ре­зультатов проверяется путем сравнения с результатами, получен­ными при функционировании ПС в реальной среде.

Анализ показывает, что абсолютная проверка ПС ни при одном из рассмотренных подходов не осуществима. Поэтому при планировании испытаний необходимо предварительно анализи­ровать структуры испытываемых программ и входных данных. В частности, следует устанавливать те пути граф-схемы програм­мы, использование которых при преобразовании данных наиболее вероятно. Эта задача аналогична подходам 1) и 2). Для сложных программных комп­лексов она не имеет строго математического решения. Вместе с тем на практике нередко удается заранее установить наиболее вероятные ситуации, которые могут возникнуть в автоматизируе­мой системе, а следовательно, и наборы входных данных, описы­вающие эти ситуации.