Как правило, тип сходимости одного и того же метода зависит от конкретного вида целевой функции, т.е. в разных задачах метод может сходиться по-разному. При достаточно жестких требованиях к функции с помощью метода можно строить последовательность, сходящуюся в точке глобального минимума. Если же этот метод применить к функциям, не удовлетворяющим этим требованиям, то может быть получена последовательность, сходящаяся только по функции, либо последовательность, не являющаяся сходящейся ни в каком смысле.

Методы спуска в силу условия монотонности (4) обычно не приводят к точке локального (глобального) максимума.

Отметим, что даже в тех случаях, когда нет сходимости ни в одном смысле, последовательное уменьшение значения целевой функции может представлять практический интерес.

2. Метод покоординатного спуска

Согласно этому методу, направление спуска выбирают параллельным координатным осям. Сначала осуществляют спуск вдоль первой оси , затем – вдоль второй - и т.д. до последней оси .

Обозначим -й орт пространства через , т.е. вектор, у которого все координаты нулевые, кроме -й, равной единице. Пусть - начальная точка и - некоторое положительное число. Точку определяют следующим образом. Вычисляют значение функции при и проверяют выполнение неравенства

(5)

Если это неравенство справедливо, то вдоль направления оси значение функции уменьшилось и поэтому полагают

, .

Если (5) не имеет места, то делают шаг в противоположном направлении, т.е. проверяют неравенство

. (6)

В случае выполнения этого неравенства полагают

, .

Возможно, что оба неравенства (5) и (6) окажутся невыполненными. Тогда следует считать , .

Второй шаг производят вдоль координатной оси : если

,

то полагают

, .

Если же последнее неравенство не имеет места, то проверяют неравенство

И в случае его выполнения считают

, .

Если ни одно из двух неравенств не выполняется, то полагают

, .

Так перебирают все направлений координатных осей. На этом первая итерация закончена; на -м шаге будет получена некоторая точка . Если при этом , то, аналогично, начиная с осуществляют вторую итерацию. Если же (это имеет место в том случае, когда на каждом шаге ни одно из пары проверяемых неравенств не окажется выполненным), то величину шага следует уменьшить, взяв, например, , и в следующей итерации использовать новое значение величины шага.

Последующие итерации производят аналогично. На практике вычисления продолжают до тех пор, пока не выполнится некоторое условие окончания счета. Часто используют следующие условия:

или , (7)

где и - заданные положительные числа, характеризующие точность решения исходной задачи минимизации.

На рис. 1 изображены несколько линий уровня некоторой функции двух переменных и проиллюстрирован описанный метод.

Рис. 1

Сходимость метода покоординатного спуска устанавливает следующее утверждение.

Пусть функция определена, выпукла и непрерывно дифференцируема на , причем начальная точка выбрана так, что множество ограничено. Тогда каждая предельная точка последовательности, построенной по методу покоординатного спуска, является точкой глобального минимума.

Заметим, что сходимость гарантируется, если начальная точка выбрана надлежащим образом.

Рассматриваемый метод относится к классу методов нулевого порядка и для его реализации не требуется вычислять производные. Однако в условиях сформулированного утверждения имеется требование непрерывной дифференцируемости . Примеры показывают, что если метод покоординатного спуска применять к функциям, не удовлетворяющим этому требованию, то точка минимума может быть не получена.