Однако установление внутренней валидности предполагает отбрасывание альтернативных интерпретаций вероятных каузальных связей между А, которым мани­пулируют, и В, которое измеряется, а установление кон­структной валидности предполагает отбрасывание альтернативных интерпретаций того, как А и В соотносят­ся с гипотетическими понятиями. Поскольку в экспери­ментах крайне важно выяснить, является ли связь меж­ду двумя переменными каузальной, необходимым условием для выведения заключения о каузальности является отбрасывание альтернативных интерпретаций. Связи между переменными (то есть устранение угроз для внутренней валидности), а не отбрасывание альтернативных интерпретаций операций с причиной и следствием (то есть угроз для конструктной валидно­сти)

Хороший эксперимент: (а) делает ясной временную последовательность. (б) достаточно чувствителен и действен для того, чтобы показать, что вероятные при­чина и эффект взаимосвязаны (ковариантны). (в) ис­ключает возможность влияния третьих переменных, которыми можно было бы объяснить связь между при­чиной и эффектом. А также (г) исключает альтерна­тивные гипотезы о конструктах, включенных в эту связь. Полезно сделать еще один шаг. Заключение каузальной связи в какой-то промежуток времени, в одной обстановке и при одной выборке испытуемых дает мало уверенности в том, что обнаруживаемая каузальная связь является устойчивой. Вопрос о воз­можности обобщения результатов для различных перио­дов времени, различных условий и групп, мы рассматри­ваем, как вопрос о внешней валидности, и вкратце перечислим угрозы и для этого вида валидности.

Сказанное не должно создавать впечатления, что эксперимент является единственным средством установ­ления каузальности. Такая наука, как астрономия, раз­вивалась без экспериментирования отчасти потому, что ей посчастливилось иметь надежные методы наблюде­ния и количественные теории, позволяющие предсказы­вать точное местоположение, точные орбиты и времен­ные интервалы движения в пространстве. Точность чис­ленных предсказаний означает, во-первых, что предска­зания могут быть проверены самым тщательным образом и, во-вторых, что различные теории, на основе которых делаются различные численные предсказания, могут быть противопоставлены друг другу. Это не значит, что в астрономии решены все проблемы валидности или что исследователь может отказаться от детального анализа всех возможных альтернативных гипотез и тщательного сопоставления их с данными для того, чтобы выяснить, могут ли они быть отброшены. Мы хотим сказать толь­ко, что было бы меньше угроз валидности, если бы измерения были такими же надежными, как в астроно­мии, а теории столь же точными.

К сожалению, социальным наукам не посчастливи­лось иметь столь же точные теории, столь же надежные измерения или повторяющийся циклический порядок в результатах наблюдений. Представьте себе, что обна­ружено различие в производительности труда работника до и после того, как он прошел специальное обучение. Как мы можем определить, что в этом различии сле­дует отнести за счет собственно обучения, что за счет естественного развития работника, или улучшений в навыке выполнения задания при обследовании, или в результате различных событий в жизни человека, кото­рые оказывают влияние на зависимую переменную меж­ду предварительным тестированием и тестированием после экспериментального воздействия, и что объяс­няется любым сочетанием этих факторов? Более того, даже если бы мы могли определить конкретные числен­ные величины, связанные с каждым из перечисленных выше объяснений, можно ли быть уверенными в том, что нам удастся измерить соответствующие результаты с такой надежностью, которая позволила бы осущест­вить выбор между теориями? Ответ на эти вопросы; зависит, конечно, от величины предсказываемых различий в приросте производительности труда и от конкретного вида проверки. Мы полагаем, однако, что в социальных науках найдется не много не экспериментальных условий, в которых точные предсказания могли бы быть с успехом использованы для проверки конку­рентных гипотез.

Хотя предшествующее изложение наводит на мысль, что эксперименты более пригодны для проверки пред­положений о причинности, чем не экспериментальные исследования, из этого не следует делать вывод, что эксперименты являются надежным средством получения ответов на все вопросы, связанные с проверкой гипотез о каузальных связях. Перечень угроз внутренней и внешней валидности, валидности статистического выво­да и конструктной валидности, а также выявление взаимосвязей между этими видами валидности делают очевидным несовершенство экспериментирования. Экспериментальные планы нуждаются в улучшении, могут и должны быть улучшены, чтобы способствовать установлению каузальной зависимости. Но мы заблуждались бы, если бы считали, что один эксперимент или даже целая исследовательская программа, рассчитанная на несколько лет, могли бы дать окончательный ответ на основные вопросы, связанные с надежным установ­лением каузальной связи, обозначением ее составляю­щих и определением возможности обобщения вывода.

Факторы, угрожающие внутренней и внешней валидности

12 факторов, угрожающих валидности различных экспериментальных планов. Основным при составлении этого списка было различение внутренней и внешней валидности.

Внутренняя валидность — это тот минимум, без ко­торого не может быть интерпретирован ни один экс­перимент: действительно ли именно это эксперименталь­ное воздействие привело к изменениям в данном эксперименте? Внешняя валидность относится к возможно­сти обобщения вывода, на какие популяции, ситуации, другие независимые переменные, параметры воздей­ствия и переменные измерения могут быть распространены результаты эксперимента. Несомненно, что оба типа критериев являются важными, хотя часто они на­ходятся в противоречии в том смысле, что увеличение валидности одного типа может угрожать валидности другого типа. Хотя внутренняя валидность есть условие sine qua non (непременное условие (лат)) и хотя проблема внешней валидности, как и проблема индуктивного вывода, никогда не может быть полностью решена, очевидно, что нашим идеалом является выбор таких экспериментальных планов, кото­рые обеспечивают оба типа валидности. Раз­личия и взаимоотношения между этими двумя видами валидности станут яснее после рассмотрения примеров при обсуждении конкретных типов эксперимента.

Далее будут представлены внешние переменные, относящихся к внешней валидности. Если эти переменные не контролируются в экспериментальном плане, то они могут дать эффекты, которые смешиваются с эффектом экспериментального воздействия. Эти переменные представляют влияние:

1) фона (history)—конкретных событий, которые про­исходят между первым и вторым измерением наря­ду с экспериментальным воздействием;

2) естественного развития (maturation) — изменений испытуемых, являющихся следствием течения вре­мени per se (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;