Метод Ньютона. Проблема области сходимости. Метод парабол. Совмещение методов Ньютона и парабол

Материал из MachineLearning.

Версия от 20:49, 16 ноября 2008; Lr2k (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Перейти к: навигация, поиск

Содержание

1 Постановка задачи одномерной оптимизации
2 Метод Ньютона
3 Метод Парабол
4 Совмещение метода Ньютона и Парабол
5 Численный пример
6 Литература
7 Смотри также

Постановка задачи одномерной оптимизации

Задача одномерной оптимизации определяется следующим образом:

Допустимое множество — множество $\mathbb{X} \subseteq \mathbb{R}$ ;
Целевую функцию — отображение $f:\;\mathbb{X}\to\mathbb{R}$ ;
Критерий поиска (max или min).

Тогда решить задачу $f(x)\to \min_{x\in\mathrm{X}}$ означает одно из:

Показать, что $\mathbb{X}=\not\bigcirc$ .
Показать, что целевая функция $f(x)$ не ограничена.
Найти $x^*\in\mathbb{X}:\;f(x^*)=\min_{x\in\mathbb{X}}f(\vec{x})$ .
Если $\not\exists x^*$ , то найти $\inf_{x\in\mathbb{X}}f(x)$ .

Если минимизируемая функция не является выпуклой, то часто ограничиваются поиском локальных минимумов и максимумов: точек $x_0$ таких, что всюду в некоторой их окрестности $f(x)\ge f(x_0)$ для минимума и $f(x)\le f(x_0)$ для максимума.

Если допустимое множество $\mathbb{X}=\mathbb{R}$ , то такая задача называется задачей безусловной оптимизации, в противном случае — задачей условной оптимизации.