Для установления наличия у ПС некоторых примитивов качества могут использоваться определенные программные инструментальные средства. Такие программные инструменты обрабатывают тексты программ или программной документации с целью контроля каких-либо примитивов качества или получения некоторых показателей этих примитивов качества. Для оценки структурированности программ ПС, если они программировались на подходящем структурном диалекте базового языка программирования, достаточно было бы их пропустить через конвертер структурированных программ, осуществляющий синтаксический и некоторый семантический контроль этого диалекта и переводящий тексты этих программ на входной язык базового транслятора. Однако таким путем в настоящее время удается контролировать лишь небольшое число примитивов качества, да и то в редких случаях. В ряде случаев вместо программных инструментов, контролирующих качество ПС, полезнее применять инструменты, осуществляющие преобразование представления программ или программной документации. Таким, например, является форматер программ, приводящий тексты программ к удобочитаемому виду, - обработка текстов программ ПС таким инструментом может автоматически обеспечить наличие соответствующего примитива качества у ПС.

Для оценки некоторых примитивов качества ПС используется тестирование. К таким примитивам относится прежде всего завершенность ПС, а также его точность, устойчивость, защищенность и другие примитивы качества. В ряде случаев для оценки отдельных примитивов качества ПС тестирование применяется в сочетании с другими методами. Так для оценки качества документации по применению ПС (П-документированности) тестирование применяется в сочетании с экспертной оценкой этой документации. Если при комплексной отладке ПС было проведено достаточно полное тестирование, то эти же тесты могут быть использованы и при аттестации ПС. В этом случае аттестационная комиссия может воспользоваться протоколами тестирования, проведенного при комплексной отладки. Однако и в этом случае необходимо выполнить какие-либо новые тесты или хотя бы повторно некоторые старые. Если же тестирование при комплексной отладке будет признано недостаточно полным, то необходимо провести более полное тестирование. В этом случае может быть принято решение о проведении испытаний компонент или системных испытаний ПС, а также о возврате ПС разработчикам на доработку. Весьма важно, чтобы для оценки ПС по критерию легкости применения было проведено (во время отладки и аттестации ПС) полное тестирование по тестам, подготовленным на основании документации по применению, а по критерию сопровождаемости - по тестам, подготовленным по каждому из документов, предлагаемых для сопровождения ПС [2].

Для оценки большинства примитивов качества ПС в настоящее время можно применять только метод экспертных оценок. Этот метод заключается в следующем: назначается группа экспертов, каждый из этих экспертов в результате изучения представленной документации составляет свое мнение об обладании ПС требуемым примитивом качества, а затем голосованием членов этой группы устанавливается оценка требуемого примитива качества ПС. Эта оценка может производиться как по двухбалльной системе ("обладает" - "не обладает"), так и учитывать степень обладания ПС этим примитивом качества (например, производиться по пятибальной системе). При этом группа экспертов должна руководствоваться конкретизацией этого примитива и указанием о способе его оценки, сформулированными в спецификации качества аттестуемого ПС.

Заключение.

В данной работе были рассмотрены вопросы, связанные с испытанием программных средств. Важно отметить, что испытания – долгий и трудоемкий этап создания программной продукции, но необходимый для того, чтобы испытуемое программное средство заняло достойное место на рынке подобной продукции.

Я рассмотрела различные методики проведения испытаний, и сделала вывод о том, что не одна из методик не является универсальной, и для каждого программного средства предпочтительно использование нескольких из них. Так, одна и та же методика не подойдет для испытаний различной программной продукции.

Были рассмотрены этапы и стадии проведения испытания, а также технологическая схема проведения испытаний. Для каждого из названных процессов определяющую роль играет подготовка испытания, а именно, необходимость выбора и согласования методики испытания, подготовка плана проведения испытания, заблаговременная разработка и испытание всех программно-технических средств, которые будут использоваться при проведении испытаний, составление и анализ соответствующей документации.

Были изучены типы испытаний в зависимости от места их проведения, и рассмотрена работа испытателей на комплексном иммитационно-моделирующем испытательном стенде, который позволяет проследить комплексную стыковку объектов испытываемой системы. КИМИС используется на самых ранних этапах создания опытного образца программного средства для выбора наилучших проектных решений.

Испытания опытного образца являются базовыми и, как правило, самыми трудоемкими, так в испытаниях опытного образца можно выделить 4 стадии проверки: функциональное тестирование, стрессовое тестирование, тестирование использования ресурсов ЭВМ комплексом программ и тестирование параллельного решения задач в многомашинных и многопроцессорных вычислительных комплексах. Каждое из названных тестирований создает различные условия для проверки работы программы.

Для четкой и отлаженной работы испытателей им необходимо иметь соответствующую документацию, где фиксируются план выполнения работ, процесс проведения испытаний и анализ полученных данных. Комиссия руководствуется утвержденным заказчиком и согласованным с разработчиком техническим заданием на комплекс программ; действующими государственными и отраслевыми стандартами на проектирование и испытания программ и на техническую документацию; программой испытаний по всем требованиям технического за­дания; методиками испытаний по каждому разделу требований тех­нического задания.

Как правило, однажды созданное программное средство имеет нескольких пользователей, а часто нескольких заказчиков, поэтому необходимо проводить адаптирование данной программы к среде ее будущего использования. Так появляются различные версии программного средства, каждая из которых также требует проведения испытаний и отладки программы в соответствующих условиях – именно это и составляет основные задачи сопровождения программ. Нередко при проведении совместных испытаний, заказчик предлагает внести корректировки в работу программных средств, не оговоренные ранее в техническом задании, в таком случае изменение программы возможно только при анализе специальной комиссией соотношения таких факторов, как срочность изменений, затраты на их проведение, влияние работы улучшенных характеристик на функционирование всей программы в целом.

Существуют специальные аттестационные и сертификационные испытания. Они проводятся специальными комиссиями (аттестационной и сертификационной соответственно) в специально предназначенных для этого лабораториях, где проводятся стандартные тестовые испытания на подтверждение качества продукции и соответствие ее назначению. При удачно завершенных испытаниях выдаются соответсвующие документы на программное средство, подтверждающие данный ему статус.