Винеровский процесс

Материал из MachineLearning.

Перейти к: навигация, поиск
Статья написана с использованием LLM ChatGPT (GPT-5.6 Sol) и проверена участником Aliia Latipova 21:00, 18 июля 2026 (MSD)


Содержание

Определение и аксиоматика

Винеровский процесс (часто называемый броуновским движением) является центральным объектом теории случайных процессов и стохастического анализа. Это гауссовский процесс с непрерывными траекториями, который служит математической моделью броуновского движения физических частиц и строительным блоком для диффузионных моделей в машинном обучении.

Стандартный винеровский процесс \{W_t, t \geqslant 0\} определяется как случайный процесс, удовлетворяющий следующим аксиомам:

  1. Начальное условие: W_0 = 0 почти наверное (п.н.).
  2. Гауссовость и моменты: Для любых 0 \leqslant s < t приращение W_t - W_s имеет нормальное распределение с нулевым математическим ожиданием и дисперсией t - s:
W_t - W_s \sim \mathcal{N}(0, t-s).
  1. Независимость приращений: Для любых непересекающихся интервалов [s_1, t_1], [s_2, t_2], \ldots, [s_n, t_n] соответствующие приращения W_{t_i} - W_{s_i} статистически независимы.
  2. Непрерывность траекторий: Почти все выборочные траектории t \mapsto W_t непрерывны на [0, \infty).

Эквивалентное задание — через ковариационную функцию. Для стандартного винеровского процесса:

\mathrm{Cov}(W_s, W_t) = \min(s, t).

Процесс W_t является частным случаем гауссовского процесса с нулевым средним и ядром k(s,t) = \min(s,t). Обобщение на многомерный случай (d-мерное броуновское движение) получается как вектор независимых одномерных винеровских процессов.

Математические свойства

Марковское свойство

Винеровский процесс обладает сильным марковским свойством: для любого момента остановки \tau (например, первого момента достижения уровня) процесс W_{\tau + t} - W_{\tau} является стандартным винеровским процессом, независимым от \sigma-алгебры \mathcal{F}_{\tau}. Это свойство лежит в основе уравнения Колмогорова — Чепмена и позволяет строить диффузионные процессы через стохастические дифференциальные уравнения.

Мартингальность

Процесс W_t является непрерывным мартингалом относительно естественной фильтрации \mathcal{F}_t = \sigma(W_s, s \leqslant t):

\mathbb{E}[W_t \mid \mathcal{F}_s] = W_s \quad \forall s < t.

Кроме того, квадратичная вариация W_t на отрезке [0, t] равна t п.н., что выражается в пределе:

\lim_{\|\Delta\| \to 0} \sum_{i=0}^{n-1} (W_{t_{i+1}} - W_{t_i})^2 = t.

Это свойство имеет фундаментальное значение: оно показывает, что траектории винеровского процесса имеют бесконечную вариацию почти наверное, но конечную квадратическую вариацию.

Непрерывность и недифференцируемость

Несмотря на непрерывность, траектории W_t являются нигде не дифференцируемыми п.н. (теорема Пала — Эрдёша — Винера). Более того, они обладают модулем непрерывности, задаваемым законом повторного логарифма:

\limsup_{t \to 0} \frac{|W_t|}{\sqrt{2t \log \log(1/t)}} = 1 \quad \text{п.н.}

Это свойство принципиально отличает винеровский процесс от гладких функций, к которым применим классический анализ.

Самоподобие (масштабная инвариантность)

Для любого c > 0 процесс \tilde W_t = \frac{1}{\sqrt{c}} W_{ct} имеет то же распределение, что и W_t. Это свойство самоподобия с индексом Хёрста H = 1/2 является характеристическим для стандартного броуновского движения.

Связь со стохастическим исчислением

Винеровский процесс служит интегратором в определении стохастического дифференциального уравнения (СДУ) и интеграла Ито. Классический интеграл Римана — Стилтьеса неприменим к W_t из-за его бесконечной вариации. Интеграл Ито определяется как предел в среднеквадратическом смысле сумм вида:

\int_0^t f(s)\,dW_s = \lim_{n\to\infty} \sum_{i=0}^{n-1} f(t_i)\,(W_{t_{i+1}} - W_{t_i}),

где f — предсказуемый процесс. Ключевое отличие от интеграла Лебега — правило умножения дифференциалов, известное как таблица Ито:

dt \cdot dt = 0, \quad dt \cdot dW_t = 0, \quad dW_t \cdot dW_t = dt.

Это приводит к формуле Ито — аналогу цепного правила для стохастических процессов. Например, для X_t = f(W_t):

df(W_t) = f'(W_t)\,dW_t + \frac{1}{2} f''(W_t)\,dt.

Стандартное СДУ для скалярного процесса X_t имеет вид:

dX_t = \mu(X_t, t)\,dt + \sigma(X_t, t)\,dW_t,

где \mu — коэффициент сноса (дрейфа), \sigma — коэффициент диффузии. Такие уравнения являются основой для моделирования стохастических динамических систем и диффузионных моделей в генеративном ИИ.

Роль в машинном обучении

Гауссовские процессы и ядра

Винеровский процесс непосредственно задаёт ковариационную функцию k(s,t) = \min(s,t), которая является положительно определённым ядром. В байесовской регрессии на основе гауссовских процессов это ядро соответствует модели интегрированного белого шума и порождает функции, которые являются "слишком" гладкими в смысле среднеквадратической непрерывности, но не дифференцируемыми п.н. Варианты ядер, обобщающих винеровское, такие как ядро Матерна или экспоненциально-квадратичное, активно используются для априорного задания гладкости в задачах обучения по малым выборкам.

Байесовская оптимизация

В байесовской оптимизации винеровский процесс появляется как предельный процесс для случайных блужданий. Априорное распределение на пространстве функций, задаваемое винеровским процессом, является непараметрическим и позволяет оценивать неопределённость в областях без данных. Комбинация винеровского процесса с марковскими свойствами приводит к эффективным алгоритмам оптимизации чёрных ящиков, использующим ожидаемое улучшение (EI) или вероятность улучшения (PI).

Диффузионные модели

В генеративном глубоком обучении винеровский процесс является фундаментом для диффузионных моделей (DDPM, score-based generative models). Обратный процесс генерации моделируется как решение обратного во времени СДУ, где прямое зашумление данных описывается уравнением Орнштейна — Уленбека, которое является линейным СДУ с винеровским шумом. Знание свойств винеровского процесса (например, распределения времени выхода за границу) необходимо для построения корректных алгоритмов сэмплирования и оценки функции правдоподобия.

Стохастические градиентные методы

Анализ сходимости стохастических градиентных методов (SGD) часто использует аппроксимацию дискретного шума винеровским процессом в пределе малых шагов. Это позволяет применять аппарат стохастических дифференциальных уравнений для доказательства сходимости к стационарным точкам и оценки скорости перемешивания в невыпуклых задачах.

Сравнение с другими случайными процессами

Процесс Тип траекторий Ковариация Память Применение
Винеровский процесс непрерывные, недифф. \min(s,t) марковский (отсутствие памяти) базовый шум, диффузия
Процесс Пуассона кусочно-постоянные, скачки \lambda \min(s,t) марковский моделирование событий, очереди
Процесс Орнштейна — Уленбека непрерывные, дифф. \frac{\sigma^2}{2\theta} e^{-\theta |s-t|} марковский (эксп. затухание) возврат к среднему, стохастическая волатильность
Дробное броуновское движение непрерывные, недифф. \frac{1}{2}(|t|^{2H}+|s|^{2H}-|t-s|^{2H}) долговременная зависимость (при H \ne 1/2) гидрология, телекоммуникации, фракталы

Процесс Орнштейна — Уленбека является единственным стационарным гауссовским марковским процессом и получается из винеровского через линейное СДУ с возвращающей силой. Дробное броуновское движение с параметром Хёрста H обобщает самоподобие: при H=1/2 оно сводится к винеровскому процессу; при H>1/2 демонстрирует положительную корреляцию приращений (персистентность), при H<1/2 — отрицательную (антиперсистентность).

Ограничения и интерпретация

Винеровский процесс является идеализированной моделью, имеющей ряд физических и вычислительных ограничений.

Физическая нереалистичность

Траектории винеровского процесса обладают бесконечной вариацией, что соответствует бесконечной скорости движения на бесконечно малых масштабах — физически невозможно. Это следствие предположения о независимости и нормальности приращений на любом временном шаге. В реальных системах всегда присутствует конечное время корреляции (например, у реальной броуновской частицы — время релаксации импульса).

Дискретизация и численные схемы

При численном моделировании СДУ распространена схема Эйлера — Маруямы:

X_{t+\Delta t} = X_t + \mu(X_t,t)\Delta t + \sigma(X_t,t)\,\Delta W_t, \quad \Delta W_t \sim \mathcal{N}(0,\Delta t).

Типичные ошибки:

  1. Использование слишком большого шага \Delta t относительно времени релаксации системы приводит к нестабильности и накоплению ошибки (слабая сходимость порядка 1, сильная — порядка 1/2).
  2. Игнорирование корреляции приращений при многомерном моделировании (необходимо использовать разложение Холецкого или матричный квадратный корень).
  3. Применение классических методов Рунге — Кутты без учёта правила Ито (ошибочное использование детерминированных схем) ведёт к неправильной дисперсии (феномен "шума, умноженного на шум").

Альтернативные подходы

Для систем с памятью используют дробное броуновское движение или процессы с дробным шумом. Для систем с дискретными скачками — процессы с компенсированным пуассоновским шумом или леви-процессы. Выбор модели определяется природой данных и необходимым уровнем аппроксимации.

Литература

  • К. Ито, Г. Маккин Диффузионные процессы и их выборочные траектории. — М.: Мир, 1968. — 400 с.
  • Б. Оксендаль Стохастические дифференциальные уравнения: Введение в теорию и приложения = Stochastic Differential Equations: An Introduction with Applications. — 6-е изд.. — Берлин: Springer, 2003. — ISBN 3-540-04758-1
  • C. E. Rasmussen, C. K. I. Williams Gaussian Processes for Machine Learning. — 2006.
  • J. Ho, A. Jain, P. Abbeel Denoising Diffusion Probabilistic Models. — 2020. — Т. 33. — С. 6840–6851.
  • А. Н. Ширяев Вероятность. — 4-е изд.. — М.: МЦНМО, 2020. — ISBN 978-5-4439-1458-7
Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%92%D0%B8%D0%BD%D0%B5%D1%80%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81»