Приём репараметризации

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM DeepSeek-V4 Preview и проверена участником Suvorov Stepan 18:32, 13 июля 2026 (MSD)

Приём репараметризации (англ. reparameterization trick), также известный как оценщик градиента репараметризации (reparameterization gradient estimator) или путевой оценщик (pathwise gradient), — техника в статистическом машинном обучении, позволяющая эффективно вычислять градиенты функций потерь по параметрам вероятностных распределений при наличии стохастических узлов в вычислительном графе. В отличие от альтернативных методов, таких как оценщик функции оценки (score function estimator / REINFORCE), приём репараметризации обеспечивает несмещённые оценки градиента с существенно меньшей дисперсией, что делает его предпочтительным при обучении моделей с непрерывными скрытыми переменными.

Приём репараметризации является вычислительной основой вариационных автокодировщиков (VAE) и широко применяется в вариационном выводе, обучении байесовских нейронных сетей, вероятностном программировании и других областях, требующих оптимизации через стохастические узлы.

Содержание

1 Определение
- 1.1 Частный случай: гауссовское распределение
2 Исторический контекст
3 Сравнение с альтернативными методами оценки градиентов
4 Применения
5 Современные вызовы и направления развития
6 См. также
7 Литература

Определение

Пусть требуется минимизировать математическое ожидание функции $f(z)$ по распределению $q_\phi(z)$ , параметризованному вектором $\phi$ :

$L(\phi) = \mathbb{E}_{z \sim q_\phi(z)}[f(z)]$

Для оптимизации $L(\phi)$ методом градиентного спуска необходимо вычислить градиент $\nabla_\phi L(\phi)$ . В общем случае это требует дифференцирования интеграла:

$\nabla_\phi L(\phi) = \nabla_\phi \int q_\phi(z) f(z) \, dz$

Альтернативный подход, основанный на оценщике функции оценки (REINFORCE), использует тождество $\nabla_\phi q_\phi(z) = q_\phi(z) \nabla_\phi \log q_\phi(z)$ , что даёт:

$\nabla_\phi L(\phi) = \mathbb{E}_{z \sim q_\phi(z)}[\nabla_\phi \log q_\phi(z) f(z)]$

Однако этот оценщик страдает от высокой дисперсии и требует специальных методов снижения вариативности.

Приём репараметризации предлагает альтернативный путь: случайная переменная $z \sim q_\phi(z)$ представляется как детерминированная дифференцируемая функция $g_\phi(\varepsilon)$ от вспомогательной случайной переменной $\varepsilon$ с фиксированным распределением $p(\varepsilon)$ , не зависящим от $\phi$ :

$z = g_\phi(\varepsilon), \quad \varepsilon \sim p(\varepsilon)$

Тогда математическое ожидание переписывается как:

$L(\phi) = \mathbb{E}_{\varepsilon \sim p(\varepsilon)}[f(g_\phi(\varepsilon))]$

Градиент теперь вычисляется путём дифференцирования под знаком математического ожидания:

$\nabla_\phi L(\phi) = \mathbb{E}_{\varepsilon \sim p(\varepsilon)}[\nabla_\phi f(g_\phi(\varepsilon))]$

Поскольку дифференцирование и математическое ожидание коммутируют, а $p(\varepsilon)$ не зависит от $\phi$ , градиент может быть оценён с помощью Монте-Карло:

$\nabla_\phi L(\phi) \approx \frac{1}{N} \sum_{i=1}^N \nabla_\phi f(g_\phi(\varepsilon_i)), \quad \varepsilon_i \sim p(\varepsilon)$

Этот оценщик является несмещённым и обладает значительно меньшей дисперсией по сравнению с оценщиком функции оценки.

Частный случай: гауссовское распределение

В случае гауссовского распределения $q_\phi(z) = \mathcal{N}(z; \mu, \sigma^2)$ репараметризация записывается как:

$z = \mu + \sigma \cdot \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, 1)$

Это позволяет вычислять градиенты по $\mu$ и $\sigma$ стандартным образом с помощью обратного распространения ошибки, так как вся случайность теперь сосредоточена в $\varepsilon$ , независимом от параметров модели.

Исторический контекст

Истоки приёма репараметризации прослеживаются до 1980-х годов, когда в области исследования операций под названием «путевые градиенты» (pathwise gradients) или «стохастические градиенты» (stochastic gradients) были разработаны методы оценки градиентов через детерминистические преобразования случайных величин.

В контексте машинного обучения приём репараметризации был предложен независимо двумя группами исследователей. В 2013 году Д. П. Кингма и М. Веллинг в работе «Auto-Encoding Variational Bayes» формализовали его применение для вариационного вывода в моделях с непрерывными скрытыми переменными, назвав этот подход стохастическим градиентным вариационным байесом (Stochastic Gradient Variational Bayes, SGVB). В том же году Д. Резенде, С. Мохамед и Д. Вирстра в работе «Stochastic Backpropagation and Approximate Inference in Deep Generative Models» предложили аналогичную технику под названием «стохастическое обратное распространение» (stochastic backpropagation). Обе работы были представлены на конференции ICLR в 2014 году и с тех пор считаются классическими.

В 2016 году К. Мэддисон, А. Мних и др. предложили распределение Конкретное (Concrete distribution) — непрерывную релаксацию дискретных распределений, позволяющую применять приём репараметризации к дискретным случайным переменным. Позднее, в 2018 году, М. Фигу́рнов, Ш. Мохамед и А. Мних разработали неявную репараметризацию (implicit reparameterization), расширяющую применимость метода на распределения без явной репараметризации, такие как Gamma, Beta, Dirichlet и von Mises.

Сравнение с альтернативными методами оценки градиентов

В задачах оптимизации через стохастические узлы используются два основных подхода к оценке градиентов:

Метод репараметризации (pathwise estimator) — рассматриваемый в данной статье приём. Обеспечивает низкодисперсионные несмещённые оценки градиента, но применим только к непрерывным распределениям, допускающим дифференцируемую репараметризацию.

Метод функции оценки (score function estimator, REINFORCE) — основан на тождестве $\nabla_\phi \log q_\phi(z)$ . Применим к любым распределениям (включая дискретные), но страдает от высокой дисперсии и требует специальных методов снижения вариативности (базисные линии, контрольные варианты).

Приём репараметризации даёт более эффективные оценки градиента, что подтверждено как теоретически, так и экспериментально. Именно поэтому он стал стандартным методом в обучении вариационных автокодировщиков и других моделей с непрерывными скрытыми переменными.

Применения

Приём репараметризации находит применение в широком спектре задач машинного обучения:

Вариационные автокодировщики (VAE) — обучение генеративных моделей с непрерывными скрытыми переменными. Приём репараметризации позволяет вычислять градиенты нижней границы свидетельства (ELBO) по параметрам энкодера.

Вариационный байесовский вывод — аппроксимация апостериорных распределений в байесовских моделях.

Байесовские нейронные сети — обучение распределений над весами нейронных сетей.

Вероятностное программирование — автоматический вывод в вероятностных моделях.

Автоматическая регуляризация — вариационный дропаут и другие методы регуляризации.

Стохастическая оптимизация — оптимизация целевых функций, содержащих математические ожидания.

Генерация дискретных данных — через непрерывные релаксации, такие как Concrete-распределение и Gumbel-Softmax.

Современные вызовы и направления развития

Несмотря на широкое распространение, приём репараметризации сталкивается с рядом ограничений:

Дискретные переменные — классическая репараметризация неприменима к дискретным распределениям из-за разрывного характера дискретных состояний. Решения включают непрерывные релаксации (Concrete / Gumbel-Softmax) и другие методы.

Ограниченный класс распределений — стандартный приём работает только для распределений с явной репараметризацией (location-scale семейства, распределения с обратимыми функциями распределения). Неявная репараметризация расширяет этот класс.

Высшие производные — вычисление производных высших порядков (гессианов) остаётся вычислительно сложным.

Нетривиальные топологии скрытого пространства — классическая репараметризация предполагает евклидово скрытое пространство; ведутся работы по обобщению на многообразия нетривиальной топологии.

Вычислительная эффективность — для сложных распределений репараметризация может требовать значительных вычислительных затрат.

Среди перспективных направлений — развитие методов для дискретных распределений с низкой дисперсией, обобщение репараметризации на распределения со сложной геометрией, интеграция с автоматическим дифференцированием и повышение вычислительной эффективности.

См. также

Литература

Kingma D. P., Welling M. Auto-Encoding Variational Bayes // ICLR. — 2014.

Rezende D. J., Mohamed S., Wierstra D. Stochastic Backpropagation and Approximate Inference in Deep Generative Models // ICML. — 2014.

Maddison C. J., Mnih A., Teh Y. W. The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables // ICLR. — 2017.

Jang E., Gu S., Poole B. Categorical Reparameterization with Gumbel-Softmax // ICLR. — 2017.

Figurnov M., Mohamed S., Mnih A. Implicit Reparameterization Gradients // NeurIPS. — 2018.

Kingma D. P., Welling M. An Introduction to Variational Autoencoders // Foundations and Trends in Machine Learning. — 2019. — Vol. 12, No. 4. — P. 307–392.

Reparameterization trick // Wikipedia. — 2024.

The reparameterization trick in variational inference // arXiv. — 2020.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B8%D1%91%D0%BC_%D1%80%D0%B5%D0%BF%D0%B0%D1%80%D0%B0%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8»

Категории: Алгоритмы оптимизации | Вариационный вывод | Глубокое обучение

@@ Строка 7: / Строка 7: @@
 '''Приём репараметризации''' (англ. reparameterization trick), также известный как '''оценщик градиента репараметризации''' (reparameterization gradient estimator) или '''путевой оценщик''' (pathwise gradient), — техника в [[Статистическое машинное обучение|статистическом машинном обучении]], позволяющая эффективно вычислять градиенты [[Функция потерь|функций потерь]] по параметрам вероятностных распределений при наличии стохастических узлов в вычислительном графе. В отличие от альтернативных методов, таких как оценщик функции оценки (score function estimator / REINFORCE), приём репараметризации обеспечивает несмещённые оценки градиента с существенно меньшей дисперсией, что делает его предпочтительным при обучении моделей с непрерывными скрытыми переменными.
-Приём репараметризации является вычислительной основой [[Вариационный автокодировщик|вариационных автокодировщиков]] (VAE) и широко применяется в [[Вариационный вывод|вариационном выводе]], обучении [[Байесовская нейронная сеть|байесовских нейронных сетей]], [[Вероятностное программирование|вероятностном программировании]] и других областях, требующих оптимизации через стохастические узлы.
+Приём репараметризации является вычислительной основой [[Вариационный автокодировщик|вариационных автокодировщиков]] (VAE) и широко применяется в [[Вариационный байесовский вывод|вариационном выводе]], обучении [[Байесовская нейронная сеть|байесовских нейронных сетей]], [[Вероятностное программирование|вероятностном программировании]] и других областях, требующих оптимизации через стохастические узлы.
 __TOC__
@@ Строка 77: / Строка 77: @@
 * '''[[Вариационный автокодировщик|Вариационные автокодировщики]] (VAE)''' — обучение генеративных моделей с непрерывными скрытыми переменными. Приём репараметризации позволяет вычислять градиенты нижней границы свидетельства (ELBO) по параметрам энкодера.
-* '''[[Вариационный вывод]]''' — аппроксимация апостериорных распределений в байесовских моделях.
+* '''[[Вариационный байесовский вывод]]''' — аппроксимация апостериорных распределений в байесовских моделях.
 * '''Байесовские нейронные сети''' — обучение распределений над весами нейронных сетей.