Приступая к оценке воспроизводимости метода, следует предусмотреть предполагаемое число показателей, которое будет получено с помощью данного метода. Другими словами, надо знать, будет ли изучаемое явление оцениваться по двум показателям (исходным и конечным) или по нескольким (исходным, промежуточным и конечным). Если по характеру исследования предстоит сделать два замера показателей, то и воспроизводимость метода должна оцениваться по двукратному использованию метода. Это имеет принципиальное значение, так как установлено, что воспроизводимость метода может быть искусственно повышена за счет увеличения числа показателей, по которым она рассчитывается. Выявлено, например, что при двукратном (подряд) применении контрольного упражнения для выявления уровня развития скоростных качеств человека коэффициент корреляции составляет 0,2 - 0,4, а при 7 - 15-кратном применении он возрастает до 0,7 - 0,9 (М.А. Годик, 1966).

Определение степени воспроизводимости метода важно при любых исследованиях. Если она не высчитана, нельзя говорить о достоверности показателей, полученных в однократных измерениях, так как при повторных исследованиях могут быть иные результаты, а следовательно могут быть сделаны иные педагогические выводы. В сравнительных экспериментах тем более сложно судить о достоверности различий между конечными и исходными показателями, если не знать заранее степени воспроизводимости метода. Даже в тех случаях, когда метод не дает каких-либо различий (конечные данные равны исходным), невозможно сделать правильный вывод: на самом ли деле нет различий или метод не смог их выявить (помешали какие-то побочные причины, ошибки самого метода "погашали" истинные изменения в педагогической системе). В частности, низкая воспроизводимость некоторых контрольных упражнений (см. "Контрольные испытания") может быть объяснена рядом причин: слабой физической подготовленностью исследуемых, отсутствием четкой методики проведения измерений, невозможностью достаточно точно воспроизвести исходное положение и другие элементы техники движения, различной точностью измерительной аппаратуры, различием в индивидуальных возможностях исследователей.

Наконец, без знания степени воспроизводимости метода нельзя сравнивать результаты исследований, полученных разными экспериментаторами. При низкой воспроизводимости метода ошибки самих экспериментаторов могут быть выше истинных значений показателей.

Следует иметь в виду, что низкая воспроизводимость некоторых тестов отнюдь не означает их полной непригодности для тестирования. Уже говорилось, что одной из причин плохой воспроизводимости является отсутствие стандартизации исполнения упражнения и его измерения. Следовательно, строгая унификация всех элементов тестирования может повысить коэффициент воспроизводимости тестов.

5-е требование. Если исследование по своей сущности допускает применение педагогического эксперимента, то он должен быть введен в научную работу. И.П. Павлов писал о преимуществах эксперимента перед наблюдением: "Наблюдение собирает то, что ему предлагает природа, опыт же берет у природы то, что он хочет" (Полное собрание трудов, т.2, 1946, стр.357).

6-е требование. В меру целесообразности необходимо применять не один метод исследования, а несколько, причем, если этого требуют задачи исследования, в сочетании с физиологическими методами и методами психологического анализа. Комплексное применение методов позволяет более разносторонне и объективно изучать явление.

При сочетании педагогических и физиологических методов исследования, а также методов психологического анализа, безусловно, не должна нарушаться направленность педагогических исследований. Направленность исследования определяется не фактом использования тех или иных методов, а задачами научной работы. При такой постановке вопроса в любом педагогическом исследовании ведущими являются педагогические методы. Именно они наиболее полно могут раскрыть педагогическую сущность разрабатываемой проблемы. Другие же методы исследования в данном случае играют лишь вспомогательную роль. Разумеется, характер изучаемого явления может уменьшать или увеличивать долю значимости, например, физиологических методов в педагогическом исследовании. Так, при изучении опыта работы учителей значение физиологических методов, как правило, сводится к нулю, при сравнительной же характеристике способов развития двигательных качеств роль этих методов в получении объективных данных неизмеримо возрастает. Разумеется, внесение элементов психологических и физиологических исследований в педагогические исследования не формальный, не механический акт. Оно оправдано только в том случае, если без этого не может быть достигнута объективность педагогических данных.

7-е требование. Экспериментатор обязан в совершенстве овладеть методом исследования до начала сбора основного материала.

8-е требование. Каждый новый метод должен быть предварительно апробирован на предмет выявления его эффективности. Это даст возможность сопоставить показатели, полученные новым методом, с показателями, которые были получены ранее. Подобное сопоставление, в свою очередь, позволит определить, в какой мере можно сравнивать получаемые результаты с теми результатами, которые были получены при исследовании аналогичного явления или аналогичной функции старым методом.

9-е требование. Любой метод исследования требует тщательной предварительной организации условий, включая разработку документации для фиксирования получаемых данных.

10-е требование. При повторных исследованиях необходимо создавать идентичные условия применения методов.

Соблюдение перечисленных требований при выборе методов исследования создает основу для объективизации получаемых данных и повышает достоверность результатов исследования.

Характеристики, а также правила применения некоторых методов излагаются в главе "Проведение исследования".

Подготовка помощников экспериментатора

Успех исследования часто зависит от качества подготовки помощников экспериментатора. Все требования, которые предъявляются к экспериментатору, в равной мере относятся и к его помощникам.

Роль помощников особенно очевидна в исследованиях с применением нескольких методов. Еще более сложна их роль в педагогическом эксперименте.

Каждый педагогический эксперимент связан с проведением занятий. Содержание их, планирование, определение методики проведения - все это предмет забот экспериментатора. Однако существует два (не исключающих одно другое) мнения о том, кто должен проводить занятие: сам экспериментатор или его помощник-преподаватель.

Проведение экспериментальных занятий самим исследователем дает ему возможность осуществлять намеченное более целеустремленно, с большим увлечением, помогает лично прочувствовать весь ход занятия.

Но в этом есть и свои отрицательные стороны, которые проявляются, когда речь идет об объективном сравнении применяемых методов обучения и воспитания, новых форм организации занятий и т.п. Представим себе педагогический эксперимент, задачей которого является сравнительный анализ новых методов активизации школьников с методами, обычно применяемыми в практике классно-урочных занятий. Приступая к подобному исследованию, экспериментатор, естественно, построил рабочую гипотезу, по которой намеченные им методы активизации, по всем признакам, должны дать большие результаты. И вот он берет два равноценных класса: первый - экспериментальный, а второй - контрольный. Надо ли доказывать, что, проводя уроки в обоих классах, экспериментатор не может совершенно беспристрастно, вполне объективно оценивать, например, ход самого занятия и т.п.