Шумоподавление

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Статья написана с использованием LLM DeepSeek и проверена участником Sanir Lukianov 13:35, 19 июля 2026 (MSD)

Содержание

1 Шумоподавление в машинном обучении

Шумоподавление в машинном обучении

Шумоподавление (англ. denoising) — процесс удаления шума из данных с целью восстановления полезного сигнала. В машинном обучении шумоподавление рассматривается как задача восстановления (реконструкции) чистых данных из зашумлённых наблюдений. Эта задача тесно связана с обработкой сигналов, компьютерным зрением, обработкой естественного языка и аудиообработкой.

Терминология и базовые понятия

Шум — это нежелательное возмущение сигнала, вызванное ошибками измерений, помехами передачи или ограничениями сенсоров. Различают два основных типа шума:

Аддитивный шум — независимо добавляется к сигналу: $\mathbf{y} = \mathbf{x} + \eta$ . Примеры: гауссовский шум, импульсный шум.
Мультипликативный шум — умножается на сигнал: $\mathbf{y} = \mathbf{x} \odot \eta$ . Пример: зернистость (speckle) в ультразвуковых изображениях.

Сигнал $\mathbf{x}$ — полезная информация, которую требуется извлечь.

Отношение сигнал/шум (SNR, Signal-to-Noise Ratio) — количественная мера уровня шума:

$\text{SNR} = 10 \log_{10} \frac{\|\mathbf{x}\|_2^2}{\|\eta\|_2^2}$ (в децибелах).

Фильтрация — процесс подавления шума. Восстановление (реконструкция) — получение оценки $\hat{\mathbf{x}}$ чистого сигнала.

Исторический контекст

Методы шумоподавления прошли длительный путь от простых линейных фильтров до сложных нейросетевых архитектур.

1960-е — 1970-е: Классические линейные фильтры (усреднение, гауссовский фильтр, фильтр Винера) на основе теории оптимальной фильтрации^[1]. Основное ограничение — размытие границ и деталей.
1970-е — 1980-е: Появление нелинейных фильтров: медианный фильтр^[1] для удаления импульсного шума, билатеральный фильтр^[1] для сохранения границ.
1990-е — 2000-е: Вейвлет-методы с пороговой обработкой коэффициентов (Donoho & Johnstone, 1994)^[1]. Non-Local Means (Buades et al., 2005)^[1] — использование похожих патчей для усреднения.
2010-е — настоящее время: Методы машинного обучения: шумоподавляющие автоэнкодеры (Vincent et al., 2008)^[1], свёрточные сети (DnCNN, Zhang et al., 2017)^[1], генеративные модели (GAN, диффузионные модели) для восстановления сложных структур.

Математическая постановка

Пусть $\mathbf{x} \in \mathbb{R}^{d}$ — чистый сигнал, $\eta \in \mathbb{R}^{d}$ — шум (обычно независимый от сигнала). Наблюдение имеет вид $\mathbf{y} = \mathbf{x} + \eta$ (аддитивная модель, наиболее распространённая).

Задача шумоподавления состоит в построении отображения $f: \mathbb{R}^{d} \to \mathbb{R}^{d}$ , такого что $\hat{\mathbf{x}} = f(\mathbf{y})$ минимизирует ожидаемую ошибку:

$f^* = \arg \min_{f} \mathbb{E}_{\mathbf{x}, \eta} \| \mathbf{x} - f(\mathbf{x} + \eta) \|_2^2$

Оптимальным решением является апостериорное среднее (MMSE-оценка):

$f^*(\mathbf{y}) = \mathbb{E}[\mathbf{x} | \mathbf{y}] = \int \mathbf{x} \cdot p(\mathbf{x}|\mathbf{y}) \, d\mathbf{x}$

Для гауссовского шума $\eta \sim \mathcal{N}(0, \sigma^2 I)$ и гауссовского априорного распределения на сигнал решение совпадает с фильтром Винера.

Для изображений часто используется MSE-потеря:

$\mathcal{L}(\mathbf{x}, \hat{\mathbf{x}}) = \frac{1}{N} \sum_{i=1}^{N} \| \mathbf{x}_i - \hat{\mathbf{x}}_i \|_2^2$

Классификация методов шумоподавления

1. Линейные фильтры

Усредняющий фильтр (box filter) — замена каждого пикселя на среднее по окрестности. Прост, но сильно размывает границы.
Гауссовский фильтр — свёртка с ядром Гаусса. Размытие управляется параметром $\sigma$ .
Фильтр Винера^[1] — оптимальный линейный фильтр в смысле MSE, использующий статистику сигнала и шума.

Ограничения: размытие резких переходов, неспособность различать границы и шумовые выбросы.

2. Нелинейные фильтры

Медианный фильтр^[1] — замена каждого пикселя на медиану окрестности. Эффективен для импульсного шума, хорошо сохраняет границы.
Билатеральный фильтр^[1] — комбинация пространственного и диапазонного взвешивания. Сохраняет границы, но может создавать артефакты («градиентная инверсия»).
Non-Local Means (NLM)^[1] — усреднение похожих патчей по всему изображению, а не только по локальной окрестности. Обеспечивает лучшее качество, но вычислительно дорог.

3. Вейвлет-методы

Используют разложение сигнала по вейвлет-базису. Шум обычно проявляется в мелких коэффициентах, поэтому их «обнуляют» или уменьшают с помощью пороговой обработки (hard / soft thresholding)^[1].

4. Методы машинного обучения

Шумоподавляющие автоэнкодеры (Denoising Autoencoders, DAE)^[1] — нейросеть, обучаемая восстановлению чистого сигнала из зашумлённого. Подробно описаны ниже.
Свёрточные нейросети — DnCNN^[1] использует остаточное обучение (residual learning) и пакетную нормализацию для улучшения качества. U-Net^[1] — энкодер-декодер с пропусками для восстановления структуры.
GAN-методы — используют генеративно-состязательные сети для создания реалистичных деталей, особенно при сильном шуме.
Диффузионные модели — итеративно удаляют шум, обучаясь обратному процессу диффузии^[1].

Шумоподавляющие автоэнкодеры

Шумоподавляющий автоэнкодер (Denoising Autoencoder, DAE) — это вариант автоэнкодера, обучающийся восстанавливать чистый сигнал $\mathbf{x}$ из его зашумлённой версии $\tilde{\mathbf{x}} = \text{noise}(\mathbf{x})$ .

Формализация:

Энкодер отображает зашумлённый объект в скрытое представление: $\mathbf{z} = E(\tilde{\mathbf{x}}; \theta_E)$ . Декодер восстанавливает чистый сигнал: $\hat{\mathbf{x}} = D(\mathbf{z}; \theta_D)$ .

Функция потерь минимизирует ошибку между оригиналом и восстановлением:

$\mathcal{L}_{\text{DAE}}(\theta_E, \theta_D) = \mathbb{E}_{\mathbf{x}, \eta} \left[ \ell \left( \mathbf{x}, D(E(\mathbf{x} + \eta; \theta_E); \theta_D) \right) \right]$

На практике используется MSE-потеря: $\ell(\mathbf{x}, \hat{\mathbf{x}}) = \|\mathbf{x} - \hat{\mathbf{x}}\|_2^2$ .

Ключевые свойства:

1. DAE не просто учится восстанавливать данные — он учится инвариантности к шуму. Скрытое представление становится устойчивым и робастным. 2. Обучение DAE эквивалентно обучению представлений, которые лежат на многообразии данных (data manifold)^[1]. 3. DAE связан с контрастивным обучением и контрактивными автоэнкодерами^[1].

Выбор шума:

Гауссовский шум ( $\eta \sim \mathcal{N}(0, \sigma^2 I)$ ) — стандартный выбор.
Импульсный шум (зануление случайных элементов, dropout noise) — часто используется в тексте и изображениях.
Маскирующий шум (закрытие целых областей) — для обучения восстановлению пропусков.

Сравнение методов

Метод	Скорость	Качество	Сохранение деталей	Требование данных
Линейные фильтры	Очень высокая	Низкое-среднее	Плохое (размытие)	Отсутствуют
Медианный / Билатеральный	Высокая	Среднее	Хорошее (границы)	Отсутствуют
Non-Local Means	Средняя	Хорошее	Хорошее	Отсутствуют
Вейвлет-методы	Средняя	Среднее-хорошее	Умеренное	Отсутствуют
DAE / CNN (DnCNN)	Низкая (обучение)	Высокое	Отличное (при хорошем обучении)	Требуется (пара $(\mathbf{x}, \tilde{\mathbf{x}})$ )
GAN / Диффузионные	Очень низкая	Очень высокое	Отличное (генерация деталей)	Требуется (большой объём)

Ключевой вывод: Классические методы эффективны и не требуют данных, но ограничены по качеству. ML-методы дают превосходные результаты на сложных шумах, но требуют больших вычислительных ресурсов и размеченных пар «чистый-зашумлённый».

Применения

Медицинская диагностика — удаление шума из рентгеновских снимков, МРТ и КТ-изображений для улучшения видимости патологий^[1].
Фотография — очистка изображений от шума ISO, восстановление старых фотографий.
Аудиообработка — очистка речи от фонового шума, улучшение качества записей^[1].
Обработка естественного языка — исправление опечаток, восстановление пропущенных слов, очистка текстов для последующего анализа.
Восстановление сигналов с сенсоров — очистка данных с датчиков в промышленности, метеорологии, физике.

Ограничения и открытые вопросы

Неизвестный тип шума: Модели, обученные на одном типе шума, плохо обобщаются на другие.
Выбор уровня шума: Трудно определить оптимальную степень шумоподавления (переподавление приводит к потере деталей, недоподавление — шум остаётся).
Вычислительная сложность: Глубокие модели требуют значительных ресурсов для обучения и применения.
Интерпретируемость: Нейросетевые методы работают как «чёрный ящик», что критично в медицине и других областях с высокими требованиями к объяснимости.

Практические рекомендации

1. Выбор метода: Для быстрого прототипирования — медианный или билатеральный фильтр. Для высокого качества — DAE или DnCNN. Для сильного шума или генерации деталей — GAN или диффузионные модели.

2. Тип шума: Если известен — подбирайте метод под него. Если нет — используйте методы с адаптивной оценкой уровня шума.

3. Предобработка: Нормализуйте данные к диапазону [0,1] или [-1,1]. Для изображений используйте нормализацию яркости.

4. Оценка качества: Для изображений используйте PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index)^[1]. Для аудио — PESQ или SNR.

См. также

Примечания

Литература

1. Wiener, N. (1949). Extrapolation, Interpolation, and Smoothing of Stationary Time Series. MIT Press. 2. Tukey, J. W. (1974). Exploratory Data Analysis. Addison-Wesley. 3. Tomasi, C., & Manduchi, R. (1998). Bilateral filtering for gray and color images. Proceedings of the IEEE ICCV, 839-846. 4. Donoho, D. L., & Johnstone, J. M. (1994). Ideal spatial adaptation by wavelet shrinkage. Biometrika, 81(3), 425-455. 5. Buades, A., Coll, B., & Morel, J. M. (2005). A non-local algorithm for image denoising. Proceedings of the IEEE CVPR, 2, 60-65. 6. Vincent, P., Larochelle, H., Bengio, Y., & Manzagol, P. A. (2008). Extracting and composing robust features with denoising autoencoders. Proceedings of ICML, 1096-1103. 7. Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y., & Manzagol, P. A. (2010). Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research, 11, 3371-3408. 8. Rifai, S., Vincent, P., Muller, X., Glorot, X., & Bengio, Y. (2011). Contractive auto-encoders: Explicit invariance during feature extraction. Proceedings of ICML, 833-840. 9. Zhang, K., Zuo, W., Chen, Y., Meng, D., & Zhang, L. (2017). Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising. IEEE Transactions on Image Processing, 26(7), 3142-3155. 10. Ronneberger, O., Fischer, P., & Brox, T. (2015). U-Net: Convolutional networks for biomedical image segmentation. MICCAI, 234-241. 11. Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 33, 6840-6851. 12. Wang, G., Gong, E., & Pauly, J. (2019). Medical image denoising using deep learning. Medical Image Analysis, 56, 67-79. 13. Lu, Y., & Su, H. (2020). Speech denoising with deep learning. IEEE Signal Processing Magazine, 37(6), 22-35. 14. Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P. (2004). Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4), 600-612. 15. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Глава о шумоподавляющих автоэнкодерах)

Ссылки

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%A8%D1%83%D0%BC%D0%BE%D0%BF%D0%BE%D0%B4%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5»

Категории: Машинное обучение | Обработка сигналов | Компьютерное зрение | Нейронные сети | Глубокое обучение

@@ Строка 138: / Строка 138: @@
 . '''Выбор метода:''' Для быстрого прототипирования — медианный или билатеральный фильтр. Для высокого качества — DAE или DnCNN. Для сильного шума или генерации деталей — GAN или диффузионные модели.
 . '''Тип шума:''' Если известен — подбирайте метод под него. Если нет — используйте методы с адаптивной оценкой уровня шума.
 . '''Предобработка:''' Нормализуйте данные к диапазону [0,1] или [-1,1]. Для изображений используйте нормализацию яркости.
-. '''Оценка качества:''' Для изображений используйте PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index)<ref name="wang2004image">Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P. (2004). Image quality assessment: From error visibility to structural similarity. ''IEEE TIP'', 13(4), 600-612.</ref>. Для аудио — PESQ или SNR.
+. '''Оценка качества:''' Для изображений используйте PSNR (Peak Signal-to-Noise Ratio) и SSIM (Structural Similarity Index)<ref name="wang2004image">Wang, Z., Bovik, A. C., Sheikh, H. R., & Simoncelli, E. P. (2004). Image quality
+assessment: From error visibility to structural similarity. ''IEEE TIP'', 13(4), 600-612.</ref>. Для аудио — PESQ или SNR.
 == См. также ==