Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM ChatGPT и проверена участником [[Участник:Aliia Latipova|Aliia Latipova]] 16:00, 17 июля 2026 (MSD). Промпт приводится полностью в [[Обсуждение:Ансамбли (машинное обучение)]].}} {{TOCright}} == Определение и интуитивные основания == '''Ансамблевый метод''' (ансамбль моделей) — подход в [[машинное обучение|машинном обучении]], при котором строится множество базовых (слабых) прогностических моделей, а итоговое предсказание формируется путём агрегирования их выходов. Для задачи регрессии агрегированием чаще всего служит взвешенное или простое среднее; для классификации — голосование (мажоритарное или взвешенное). Формально, пусть <tex>\mathcal{D} = \{(x_i, y_i)\}_{i=1}^N</tex> — обучающая выборка, <tex>f_1, f_2, \dots, f_K</tex> — базовые алгоритмы. Тогда предсказание ансамбля имеет вид :: <tex>\bar{f}(x) = \sum_{k=1}^K w_k f_k(x), \quad \sum w_k = 1, \ w_k \geq 0</tex> для регрессии, или :: <tex>\bar{f}(x) = \arg\max_{y \in \mathcal{Y}} \sum_{k=1}^K w_k \mathbb{I}[f_k(x) = y]</tex> для классификации. Ансамбли обладают двумя ключевыми интуитивными обоснованиями. * '''Статистическая интуиция''': каждая модель обучается по конечной выборке и является случайной оценкой истинной зависимости. Усреднение нескольких независимых (или слабо коррелированных) оценок, согласно [[Закон больших чисел|закону больших чисел]], уменьшает дисперсию оценки без увеличения смещения. Если модели имеют одинаковое смещение <tex>B</tex> и независимые ошибки с дисперсией <tex>\sigma^2</tex>, то дисперсия ансамблевого предсказания равна <tex>\sigma^2 / K</tex>. * '''Геометрическая интуиция''': в пространстве функций каждая модель соответствует точке; ансамбль выбирает точку, лежащую внутри выпуклой оболочки базовых моделей. Это позволяет выходить за рамки гипотез, реализуемых одним алгоритмом, и конструировать более гибкие разделяющие поверхности. Принципиальным условием эффективности является '''диверсификация''' базовых алгоритмов: их ошибки должны быть по возможности некоррелированы. Если все модели ошибаются одинаково, объединение не даёт выигрыша. == Теоретические основы == === Разложение смещения и разброса === Для квадратичной функции потерь ожидаемая ошибка модели <tex>f</tex> в точке <tex>x</tex> раскладывается в сумму смещения, разброса и неустранимого шума<ref name="Hastie">{{книга |автор=Hastie T., Tibshirani R., Friedman J. |заглавие=The Elements of Statistical Learning |издание=2-е изд |место=New York |издательство=Springer |год=2009}}</ref>: :: <tex>\mathbb{E}_{\mathcal{D}}[(y - f(x;\mathcal{D}))^2] = (\mathbb{E}[f] - y)^2 + \operatorname{Var}(f) + \sigma^2_{\text{noise}}.</tex> Ансамбль из <tex>K</tex> одинаково распределённых моделей с попарной корреляцией <tex>\rho</tex> имеет дисперсию<ref name="Hastie"/>: :: <tex>\operatorname{Var}(\bar{f}) = \rho \sigma^2 + \frac{1-\rho}{K}\sigma^2,</tex> где <tex>\sigma^2 = \operatorname{Var}(f_k)</tex>. Отсюда видно, что при <tex>\rho < 1</tex> дисперсия ансамбля строго меньше дисперсии одного базового алгоритма. Методы [[бэггинг]]а направлены именно на уменьшение разброса при почти неизменном смещении. [[Бустинг]], напротив, последовательно уменьшает смещение, объединяя слабые модели с высоким смещением. === Диверсификация и корреляция ошибок === Количественной мерой разнообразия служат Q-статистика Йола или коэффициент <tex>\kappa</tex> Коэна для пар классификаторов<ref>{{статья |автор=Kuncheva L. I., Whitaker C. J. |заглавие=Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy |издание=Machine Learning |год=2003 |том=51 |номер=2 |страницы=181–207}}</ref>. Экспериментально установлено, что ансамбли показывают наибольший выигрыш, когда базовые модели ошибаются на разных подмножествах данных. Приближение к нулю корреляции достигается за счёт введения случайности в обучение (бутстреп, случайные подпространства признаков). === Связь с предельными теоремами === При усреднении бесконечного числа независимых несмещённых моделей предсказание ансамбля сходится к математическому ожиданию истинной функции ([[закон больших чисел]]). [[Центральная предельная теорема]] гарантирует асимптотическую нормальность ошибки ансамбля, что позволяет строить приближённые доверительные интервалы для методов типа случайного леса. == Основные семейства методов == === Бэггинг (Bagging) === [[Бэггинг]] (bootstrap aggregating), предложенный Л. Брейманом<ref name="bagging">{{статья |автор=Breiman L. |заглавие=Bagging predictors |издание=Machine Learning |год=1996 |том=24 |номер=2 |страницы=123–140}}</ref>, заключается в параллельном обучении <tex>K</tex> моделей на бутстреп-выборках, полученных из исходной выборки <tex>\mathcal{D}</tex> выбором с возвращением. Предсказания агрегируются равновесным усреднением (регрессия) или голосованием (классификация). Бэггинг наиболее эффективен для ''нестабильных'' алгоритмов (глубокие [[Дерево решений|деревья решений]]), где малые изменения данных приводят к значительным изменениям модели. Метод не уменьшает смещение, но значительно снижает дисперсию. Обобщающая способность улучшается всегда, когда базовый алгоритм чувствителен к вариациям выборки<ref name="bagging"/>. === Бустинг (Boosting) === [[Бустинг]] строит ансамбль последовательно: каждая следующая модель фокусируется на примерах, которые были плохо предсказаны предыдущими. Впервые практически реализован в алгоритме [[AdaBoost]]<ref name="adaboost">{{статья |автор=Freund Y., Schapire R. E. |заглавие=A decision-theoretic generalization of on-line learning and an application to boosting |издание=Journal of Computer and System Sciences |год=1997 |том=55 |номер=1 |страницы=119–139}}</ref>, который перевзвешивает обучающие объекты. Аддитивная модель имеет вид :: <tex>F_m(x) = F_{m-1}(x) + \alpha_m h_m(x),</tex> где <tex>h_m</tex> — слабый классификатор, <tex>\alpha_m</tex> — его вес. В современной трактовке бустинг решает задачу минимизации эмпирического риска путём градиентного спуска в функциональном пространстве — [[градиентный бустинг]]<ref name="gbm">{{статья |автор=Friedman J. H. |заглавие=Greedy function approximation: A gradient boosting machine |издание=Annals of Statistics |год=2001 |том=29 |номер=5 |страницы=1189–1232}}</ref>. Каждая новая модель аппроксимирует антиградиент функции потерь по текущему ансамблю. === Стекинг (Stacking) === [[Стекинг]] (stacked generalization) обучает мета-модель на выходах базовых алгоритмов<ref>{{статья |автор=Wolpert D. H. |заглавие=Stacked generalization |издание=Neural Networks |год=1992 |том=5 |номер=2 |страницы=241–259}}</ref>. Чтобы избежать смещённой оценки, базовые предсказания получают с помощью [[Кросс-валидация|кросс-валидации]]: данные разбиваются на фолды, на каждом фолде модель обучается на остальных и предсказывает выбранный фолд. Собранный набор мета-признаков используется для обучения мета-алгоритма (часто [[Логистическая регрессия|логистическая регрессия]] или [[Линейная регрессия|линейная регрессия]] с неотрицательными весами). Итоговый ансамбль: :: <tex>\bar{f}(x) = g(f_1(x), \dots, f_K(x)),</tex> где <tex>g</tex> — мета-модель. Веса мета-алгоритма интерпретируются как относительная важность базовых моделей. == Свойства и теоремы == * '''Теорема о сильном обучении''' (Schapire, 1990): если существует эффективный алгоритм, порождающий слабые гипотезы (ошибка менее 1/2 для бинарной классификации), то с помощью бустинга можно построить сильную гипотезу со сколь угодно малой ошибкой на обучающей выборке<ref>{{статья |автор=Schapire R. E. |заглавие=The strength of weak learnability |издание=Machine Learning |год=1990 |том=5 |номер=2 |страницы=197–227}}</ref>. * '''Сходимость AdaBoost''': в бинарной классификации с экспоненциальной функцией потерь обучающая ошибка ограничена сверху величиной <tex>\exp(-2\sum_{m=1}^M \gamma_m^2)</tex>, где <tex>\gamma_m</tex> — отрыв слабого классификатора от случайного угадывания<ref name="adaboost"/>. При достаточной ёмкости базовых моделей обучение сходится к нулю. * '''Граница обобщения случайного леса''' (Breiman, 2001): ошибка обобщения с ростом числа деревьев почти наверное сходится к величине <tex>\rho \cdot \mathbb{P}_{X,Y}( \text{margin}(X,Y) < 0 )</tex>, где <tex>\rho</tex> — корреляция между деревьями<ref name="rf"/>. Увеличение числа деревьев не приводит к переобучению. * '''Условие улучшения для бэггинга''': если базовый алгоритм нестабилен в смысле бутстреп-возмущений, то среднеквадратичная ошибка ансамбля не превышает ошибку одного алгоритма. Для стабильных методов (например, линейной регрессии) бэггинг не даёт выигрыша<ref name="bagging"/>. * '''Консистентность случайного леса''': при определённых ограничениях на структуру деревьев и распределение данных случайный лес состоятелен в смысле сходимости к байесовскому классификатору при стремлении объёма выборки к бесконечности<ref>{{статья |автор=Biau G., Scornet E. |заглавие=A random forest guided tour |издание=Test |год=2016 |том=25 |номер=2 |страницы=197–227}}</ref>. == Роль случайности, регуляризации и кросс-валидации == * '''Случайность''' — основной источник диверсификации. В [[Случайный лес|случайном лесе]] случайными являются как бутстреп-выборки объектов, так и подмножества признаков в каждом узле дерева. В стохастическом градиентном бустинге применяется подвыборка строк (subsampling) и признаков. * '''Регуляризация''' предотвращает переобучение. В бустинге ключевыми регуляризаторами служат: темп обучения <tex>\eta</tex> (shrinkage), максимальная глубина деревьев, минимальное число объектов в листе, L1/L2-регуляризация весов листьев (в XGBoost<ref name="xgboost"/>), параметр max_delta_step. Бэггинг-ансамбли регуляризуются неявно за счёт усреднения, а также ограничениями на глубину базовых деревьев. * '''Кросс-валидация''' — обязательный этап при построении стекинга (для получения несмещённых мета-признаков) и при подборе числа моделей в бустинге (ранняя остановка). Для случайного леса внепакетная ошибка (out-of-bag) является состоятельной оценкой ошибки обобщения без необходимости отдельной валидационной выборки<ref name="rf"/>. == Частные случаи == === Случайный лес (Random Forest) === [[Случайный лес]]<ref name="rf">{{статья |автор=Breiman L. |заглавие=Random forests |издание=Machine Learning |год=2001 |том=45 |номер=1 |страницы=5–32}}</ref> — бэггинг над решающими деревьями, в котором на каждом разбиении дополнительно случайно выбирается <tex>m \ll p</tex> признаков. Это снижает корреляцию между деревьями и улучшает обобщающую способность. Важность признаков оценивается по падению точности при пермутации или по уменьшению критерия неоднородности. === AdaBoost === Алгоритм [[AdaBoost]]<ref name="adaboost"/> инициализирует равные веса объектам, на каждой итерации обучает слабый классификатор, вычисляет его взвешенную ошибку <tex>\epsilon_m</tex> и вес <tex>\alpha_m = \frac{1}{2}\ln\frac{1-\epsilon_m}{\epsilon_m}</tex>, после чего обновляет веса объектов, увеличивая их для неверно классифицированных примеров. Итоговый классификатор: <tex>F(x) = \operatorname{sign}\left(\sum_m \alpha_m h_m(x)\right)</tex>. === Градиентный бустинг: XGBoost, LightGBM, CatBoost === * '''XGBoost'''<ref name="xgboost">{{статья |автор=Chen T., Guestrin C. |заглавие=XGBoost: A scalable tree boosting system |издание=Proceedings of the 22nd ACM SIGKDD |год=2016 |страницы=785–794}}</ref>: оптимизирует регуляризованную целевую функцию с использованием вторых производных (аппроксимация Тейлора), встроенная обработка пропусков, кэш-оптимизации для разреженных данных. * '''LightGBM'''<ref>{{статья |автор=Ke G., Meng Q., Finley T. и др. |заглавие=LightGBM: A highly efficient gradient boosting decision tree |издание=Advances in Neural Information Processing Systems |год=2017 |том=30 |страницы=3146–3154}}</ref>: использует листовой рост деревьев (leaf-wise), градиентную одностороннюю выборку (GOSS) и объединение взаимоисключающих признаков (EFB) для ускорения обучения. * '''CatBoost'''<ref>{{статья |автор=Prokhorenkova L., Gusev G., Vorobev A. и др. |заглавие=CatBoost: unbiased boosting with categorical features |издание=Advances in Neural Information Processing Systems |год=2018 |том=31}}</ref>: реализует упорядоченный бустинг (ordered boosting) и симметричные деревья, обеспечивая несмещённую обработку категориальных переменных с помощью статистик на перестановках. === Ансамбли линейных моделей === Бэггинг линейной регрессии не даёт выигрыша, так как МНК-оценки стабильны. Бустинг линейных моделей с L2-функцией потерь эквивалентен итеративной регуляризации и может приводить к результату, близкому к гребневой регрессии<ref>{{статья |автор=Bühlmann P., Yu B. |заглавие=Boosting with the L2 loss: regression and classification |издание=Journal of the American Statistical Association |год=2003 |том=98 |номер=462 |страницы=324–339}}</ref>. Ансамбли линейных моделей полезны в задачах с очень высокой размерностью (геномика), когда одна модель склонна к переобучению. === Ансамбли нейронных сетей === Глубокие ансамбли (deep ensembles) объединяют несколько нейросетей одинаковой архитектуры, обученных с различной инициализацией и/или на разных подмножествах данных<ref>{{статья |автор=Lakshminarayanan B., Pritzel A., Blundell C. |заглавие=Simple and scalable predictive uncertainty estimation using deep ensembles |издание=Advances in Neural Information Processing Systems |год=2017 |том=30}}</ref>. Показано, что они дают как повышение точности, так и качественные оценки неопределённости. Другие подходы: снэпшот-ансамбли (snapshot ensembles), быстрое геометрическое усреднение (FGE) и использование [[MC Dropout]] как приближённого ансамбля. == Применения == * '''Соревнования Kaggle''': ансамбли (особенно градиентный бустинг, стекинг и блендинг) доминируют среди решений победителей. XGBoost и LightGBM являются стандартом де-факто для табличных данных. * '''Кредитный скоринг и риск-менеджмент''': ансамбли деревьев обеспечивают высокую прогнозную силу, а встроенные меры важности признаков частично отвечают требованиям интерпретируемости. * '''Медицинская диагностика''': случайный лес и бустинг применяются для прогнозирования заболеваний, анализа выживаемости. Требуются тщательная калибровка и оценка неопределённости. * '''Ранжирование в поисковых системах''': алгоритм LambdaMART (модификация градиентного бустинга для попарных и списочных функций потерь) лежит в основе многих промышленных систем. * '''Компьютерное зрение''': ансамбли свёрточных сетей широко использовались до появления трансформеров, оставаясь актуальными для повышения устойчивости и точности в задачах классификации и сегментации. * '''Обработка естественного языка''': ансамбли трансформерных моделей (BERT, RoBERTa) путём усреднения вероятностей повышают качество на тестовых наборах. == Сравнительный анализ методов == * '''Вычислительная сложность''': бэггинг и случайный лес легко параллелизуются. Бустинг — последовательный, но современные реализации (LightGBM, CatBoost) включают многопоточность. Стекинг требует ресурсоёмкой кросс-валидации для подготовки мета-признаков. * '''Интерпретируемость''': случайный лес предоставляет информативные оценки важности признаков, частичную зависимость. Бустинг интерпретируется сложнее, хотя SHAP-значения на деревьях работают хорошо. Стекинг практически неинтерпретируем. * '''Склонность к переобучению''': случайный лес устойчив; увеличение числа деревьев не ведёт к переобучению. Бустинг может переобучаться при избытке итераций — помогает ранняя остановка. Стекинг склонен к переобучению на мета-уровне при неправильном разделении данных. * '''Несбалансированные данные''': бустинг легко адаптируется взвешиванием классов; бэггинг можно комбинировать со сбалансированным бутстрепом; стекинг требует специальной настройки мета-алгоритма. * '''Пропуски в данных''': XGBoost и CatBoost обрабатывают пропуски нативно; бэггинг-модели обычно требуют предварительного заполнения. == Ограничения и типичные ошибки == * '''Высокая корреляция базовых моделей''' сводит на нет преимущества ансамбля. Необходимо обеспечивать разнообразие через случайность или использование разных семейств алгоритмов. * '''Слишком слабые базовые модели в бустинге''' (например, пеньки для сложной задачи) замедляют сходимость и могут привести к недообучению. * '''Переобученный стекинг''' возникает, когда мета-признаки и целевая переменная берутся из одного фолда без честного разделения. * '''Неподходящая функция потерь''': стандартные реализации градиентного бустинга заточены под определённые потери; выбор неправильной функции (например, квадратичной для классификации) снижает качество. * '''Игнорирование предварительной настройки гиперпараметров''' (глубина деревьев, learning rate, число моделей) приводит либо к недообучению, либо к переобучению. == Ансамбли в AutoML и современных пайплайнах == Современные системы [[AutoML]] (Auto-Sklearn, H2O AutoML, AutoGluon) рассматривают ансамбли как один из ключевых этапов пайплайна. Производится автоматический подбор базовых моделей, их гиперпараметров и стратегии агрегирования (стекинг, взвешенное усреднение, greedy ensemble selection). В AutoGluon-Tabular многоуровневый стекинг моделей разной природы (деревья, нейросети, линейные модели) достигает качества, сопоставимого с ручной экспертной настройкой. В [[Федеративное обучение|федеративном обучении]] ансамблирование локальных моделей является естественным способом построения глобального предиктора без обмена данными. == Заключение == Ансамблевые методы остаются одним из самых надёжных инструментов повышения точности и устойчивости машинного обучения, благодаря строгим статистическим основаниям и развитой программной экосистеме. Понимание тонкостей смещения-разброса, диверсификации и корреляции ошибок позволяет осознанно выбирать тип ансамбля, избегая типичных ловушек и достигая уровня лучших современных решений. == Литература == * {{книга |автор=Hastie T., Tibshirani R., Friedman J. |заглавие=The Elements of Statistical Learning |издание=2-е изд |место=New York |издательство=Springer |год=2009}} * {{книга |автор=James G., Witten D., Hastie T., Tibshirani R. |заглавие=An Introduction to Statistical Learning |издание=2-е изд |место=New York |издательство=Springer |год=2021}} * {{статья |автор=Breiman L. |заглавие=Bagging predictors |издание=Machine Learning |год=1996 |том=24 |номер=2 |страницы=123–140}} * {{статья |автор=Breiman L. |заглавие=Random forests |издание=Machine Learning |год=2001 |том=45 |номер=1 |страницы=5–32}} * {{статья |автор=Freund Y., Schapire R. E. |заглавие=A decision-theoretic generalization of on-line learning and an application to boosting |издание=Journal of Computer and System Sciences |год=1997 |том=55 |номер=1 |страницы=119–139}} * {{статья |автор=Friedman J. H. |заглавие=Greedy function approximation: A gradient boosting machine |издание=Annals of Statistics |год=2001 |том=29 |номер=5 |страницы=1189–1232}} * {{статья |автор=Chen T., Guestrin C. |заглавие=XGBoost: A scalable tree boosting system |издание=Proceedings of the 22nd ACM SIGKDD |год=2016 |страницы=785–794}} * {{статья |автор=Ke G., Meng Q., Finley T. и др. |заглавие=LightGBM: A highly efficient gradient boosting decision tree |издание=Advances in Neural Information Processing Systems |год=2017 |том=30 |страницы=3146–3154}} * {{статья |автор=Prokhorenkova L., Gusev G., Vorobev A. и др. |заглавие=CatBoost: unbiased boosting with categorical features |издание=Advances in Neural Information Processing Systems |год=2018 |том=31}} * {{статья |автор=Lakshminarayanan B., Pritzel A., Blundell C. |заглавие=Simple and scalable predictive uncertainty estimation using deep ensembles |издание=Advances in Neural Information Processing Systems |год=2017 |том=30}} * {{статья |автор=Wolpert D. H. |заглавие=Stacked generalization |издание=Neural Networks |год=1992 |том=5 |номер=2 |страницы=241–259}} * {{статья |автор=Bühlmann P., Yu B. |заглавие=Boosting with the L2 loss: regression and classification |издание=Journal of the American Statistical Association |год=2003 |том=98 |номер=462 |страницы=324–339}} * {{статья |автор=Biau G., Scornet E. |заглавие=A random forest guided tour |издание=Test |год=2016 |том=25 |номер=2 |страницы=197–227}} * {{статья |автор=Kuncheva L. I., Whitaker C. J. |заглавие=Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy |издание=Machine Learning |год=2003 |том=51 |номер=2 |страницы=181–207}} == Примечания == <references/> [[Категория:Машинное обучение]] [[Категория:Статистическое обучение]] [[Категория:Методы классификации]] [[Категория:Ансамблевые методы]]

Возврат к странице Ансамблевый метод.