|
|
| Строка 20: |
Строка 20: |
| | Методы фильтрации оценивают статистические свойства признаков изолированно от структуры и параметров финальной прогностической модели. Из-за вычислительной простоты они используются в качестве методов быстрой предварительной фильтрации (screener). | | Методы фильтрации оценивают статистические свойства признаков изолированно от структуры и параметров финальной прогностической модели. Из-за вычислительной простоты они используются в качестве методов быстрой предварительной фильтрации (screener). |
| | | | |
| - | * '''Порог дисперсии (Variance Threshold):''' Устраняет константные и квазиконстантные признаки, не несущие дискриминативной информации. Признак <tex>j</tex> удаляется, если его выборочная дисперсия ниже заданного порога <tex>\tau</tex>: | + | * '''Порог дисперсии (Variance Threshold):''' Устраняет константные и квазиконстантные признаки, не несущие дискриминативной информации. Признак <tex>j</g> удаляется, если его выборочная дисперсия ниже заданного порога <tex>\tau</tex>: |
| | :<tex>\sigma^2_j = \frac{1}{N}\sum_{i=1}^{N} (x_{ij} - \mu_j)^2 < \tau, \quad \mu_j = \frac{1}{N}\sum_{i=1}^{N} x_{ij}</tex> | | :<tex>\sigma^2_j = \frac{1}{N}\sum_{i=1}^{N} (x_{ij} - \mu_j)^2 < \tau, \quad \mu_j = \frac{1}{N}\sum_{i=1}^{N} x_{ij}</tex> |
| | | | |
| - | * '''Линейный коэффициент корреляции Пирсона:''' Измеряет степень линейной связи между непрерывным признаком <tex>x^{(j)}</tex> и непрерывной целевой переменной <tex>y</tex>: | + | * '''Линейный коэффициент корреляции Пирсона:''' Из |
| - | :<tex>r_j = \frac{\sum_{i=1}^{N} (x_{ij} - \mu_j)(y_i - \mu_y)}{\sqrt{\sum_{i=1}^{N} (x_{ij} - \mu_j)^2 \sum_{i=1}^{N} (y_i - \mu_y)^2}}</tex>
| + | |
| - | | + | |
| - | * '''Критерий Хи-квадрат (<tex>\chi^2</tex>-тест):''' Применяется для качественных (категориальных) признаков. Проверяет гипотезу о независимости признака <tex>j</tex> и целевой переменной. Статистика вычисляется на основе таблицы сопряженности:
| + | |
| - | :<tex>\chi^2_j = \sum_{u=1}^{U} \sum_{v=1}^{V} \frac{(O_{uv} - E_{uv})^2}{E_{uv}}</tex>
| + | |
| - | :: где <tex>O_{uv}</tex> — наблюдаемое число объектов, сочетающих <tex>u</tex>-е значение признака и <tex>v</t>-й класс, а <tex>E_{uv}</t> — ожидаемое число объектов при гипотезе о независимости.
| + | |
| - | | + | |
| - | * '''Взаимная информация (Mutual Information):''' Базируется на энтропии Шеннона и улавливает произвольные нелинейные зависимости. Для дискретных случайных величин формула имеет вид:
| + | |
| - | :<tex>I(X^{(j)}; Y) = \sum_{x \in X^{(j)}} \sum_{y \in \mathbf{Y}} p(x, y) \ln \frac{p(x, y)}{p(x)p(y)}</tex>
| + | |
| - | :: где <tex>p(x, y)</tt> — совместное распределение вероятностей, а <tex>p(x)</tt> и <tex>p(y)</tt> — маргинальные распределения.
| + | |
| - | | + | |
| - | === 3. Методы обертывания (Wrapper Methods) ===
| + | |
| - | Методы обертывания используют целевой алгоритм машинного обучения в качестве функции оценки (score) для проверяемого подмножества признаков. Впервые подробно исследованы в работе Kohavi, John (1997).
| + | |
| - | | + | |
| - | * '''Прямой последовательный отбор (Forward Stepwise Selection):''' Итерационный процесс, стартующий с пустого множества <tex>S_0 = \emptyset</tex>. На шаге <tex>t</tt> алгоритм жадно добавляет один признак, максимизирующий локальное качество:
| + | |
| - | :<tex>j_t = \arg\max_{j \in \Omega \setminus S_{t-1}} \text{Score}\left(A(X_{S_{t-1} \cup \{j\}})\right), \quad S_t = S_{t-1} \cup \{j_t\}</tex>
| + | |
| - | * '''Обратное последовательное исключение (Backward Stepwise Elimination):''' Процесс, обратный прямому отбору. Стартует с полного набора признаков <tex>S_0 = \Omega</tex>, на каждом шаге отбрасывается переменная, удаление которой наносит минимальный ущерб точности модели.
| + | |
| - | * '''Рекурсивное исключение признаков (Recursive Feature Elimination, RFE):''' Алгоритм (Guyon et al., 2002), обучающий модель на полном множестве, ранжирующий признаки по величине квадрата весовых коэффициентов линейного классификатора <tex>c_j = w_j^2</tex> (или значимости в деревьях) и последовательно отсекающий наименее важные элементы.
| + | |
| - | | + | |
| - | === 4. Встроенные методы (Embedded Methods) ===
| + | |
| - | Встроенные методы осуществляют селекцию признаков непосредственно в ходе оптимизации внутренних параметров модели (процессы обучения и отбора математически неразделимы).
| + | |
| - | | + | |
| - | * '''L1-регуляризация (LASSO):''' Метод аппроксимации разреженных решений (Tibshirani, 1996). За счет сингулярности (острых углов) ограничения L1-нормы в области нулевых значений, оптимизатор принудительно зануляет веса избыточных предикторов:
| + | |
| - | :<tex>Q_{LASSO}(w) = \frac{1}{2N} \sum_{i=1}^{N} \left(y_i - \sum_{j=1}^{D} w_j x_{ij}\right)^2 + \lambda \sum_{j=1}^{D} |w_j| \to \min_{w}</tex>
| + | |
| - | :: где <tex>\lambda</tt> — управляющий гиперпараметр. Признак <tex>j</tt> считается исключенным, если <tex>w_j = 0</tt>.
| + | |
| - | | + | |
| - | * '''Elastic Net Регуляризация:''' Комбинирует штрафы L1 и L2 (Zou, Hastie, 2005) для преодоления ограничений LASSO при работе с коррелированными группами признаков:
| + | |
| - | :<tex>Q_{EN}(w) = \frac{1}{2N} \sum_{i=1}^{N} \left(y_i - \sum_{j=1}^{D} w_j x_{ij}\right)^2 + \lambda_1 \sum_{j=1}^{D} |w_j| + \lambda_2 \sum_{j=1}^{D} w_j^2 \to \min_{w}</tex>
| + | |
| - | | + | |
| - | * '''Уменьшение примеси в ансамблях деревьев (Mean Decrease Impurity, MDI):''' Метод оценки важности признаков в алгоритме Random Forest (Breiman, 2001). Значимость признака <tex>j</tt> вычисляется как взвешенная сумма улучшений критерия информативности (например, Джини) по всем узлам <tex>t</tt>, где было произведено разбиение по данному признаку:
| + | |
| - | :<tex>\text{MDI}(j) = \frac{1}{|T|} \sum_{t \in T} w(t) \left[ I(t) - \frac{N_{tL}}{N_t}I(t_L) - \frac{N_{tR}}{N_t}I(t_R) \right]</tex>
| + | |
| - | :: где <tex>I(t)</tt> — значение неопределенности в узле, <tex>w(t)</tt> — доля объектов, прошедших через узел, а <tex>t_L</tt> и <tex>t_R</tt> — левое и правое поддеревья соответственно.
| + | |
| - | | + | |
| - | === 5. Функции потерь и информационные критерии оценки ===
| + | |
| - | Для оценки оптимальности подмножеств признаков в линейных и классических вероятностных моделях используют критерии, накладывающие явный штраф за избыточную параметризацию (мощность подмножества <tex>d</tt>):
| + | |
| - | | + | |
| - | * '''Информационный критерий Акаике (AIC):'''
| + | |
| - | :<tex>\text{AIC} = 2d - 2\ln(L_{max})</tex>
| + | |
| - | :: где <tex>L_{max}</tt> — максимизированное значение функции правдоподобия (Likelihood function) модели.
| + | |
| - | | + | |
| - | * '''Байесовский информационный критерий Шварца (BIC):'''
| + | |
| - | :<tex>\text{BIC} = d\ln(N) - 2\ln(L_{max})</tex>
| + | |
| - | :: Штрафует за размерность жестче, чем AIC, при объемах выборки <tex>\ln(N) > 2</tt>.
| + | |
| - | | + | |
| - | * '''Скорректированный коэффициент детерминации (<tex>R^2_{adj}</tt>):''' Используется в задачах регрессии:
| + | |
| - | :<tex>R^2_{adj} = 1 - (1 - R^2)\frac{N - 1}{N - d - 1}</tex>
| + | |
| - | | + | |
| - | === 6. Метрики качества работы методов отбора ===
| + | |
| - | Интегральная оценка алгоритмов селекции оперирует не только ошибкой аппроксимации, но и показателями стабильности:
| + | |
| - | | + | |
| - | # '''Стабильность отбора (Индекс Жакара):''' Оценивает инвариантность метода к малым возмущениям обучающей выборки. Для двух подмножеств <tex>S_1</tt> и <tex>S_2</tt>, полученных на разных подвыборках:
| + | |
| - | :<tex>J(S_1, S_2) = \frac{|S_1 \cap S_2|}{|S_1 \cup S_2|}</tex>
| + | |
| - | # '''Скорректированный индекс Кунчевой (Kuncheva's Stability Index):''' Учитывает вероятность случайного совпадения признаков в высокоразмерных пространствах:
| + | |
| - | :<tex>I_K(S_1, S_2) = \frac{r \cdot D - d^2}{d \cdot (D - d)}</tex>
| + | |
| - | :: где <tex>r = |S_1 \cap S_2|</tt> — размер пересечения подмножеств, а <tex>d</tt> — их фиксированная мощность (<tex>|S_1|=|S_2|=d</tt>). Диапазон значений: <tex>[-1, 1]</tt>.
| + | |
| - | | + | |
| - | === 7. Практические рекомендации и типичные ошибки ===
| + | |
| - | * '''Утечка данных (Data Leakage) при кросс-валидации:''' КРИТИЧЕСКАЯ И САМАЯ РАСПРОСТРАНЕННАЯ ОШИБКА. Расчет любых статистик фильтрации (например, взаимной информации или корреляций) должен производиться строго '''внутри тренировочных фолдов'''. Если выполнить отбор признаков на всей матрице <tex>X</tt> до разбиения на фолды кросс-валидации, информация из валидационных подвыборок попадет в модель, что приведет к сильному оптимистическому смещению оценок качества (ошибка генерализации будет занижена).
| + | |
| - | * '''Чувствительность к масштабу данных:''' Большинство регуляризаторов (LASSO, Elastic Net) и оберток на базе линейных моделей критичны к масштабу. Перед началом процедуры отбора матрица признаков <tex>X</tt> подлежит обязательной стандартизации:
| + | |
| - | :<tex>\tilde{x}_{ij} = \frac{x_{ij} - \mu_j}{\sigma_j}</tex>
| + | |
| - | * '''Проблема группировки при мультиколлинеарности:''' Если в выборке присутствует группа строго коррелированных признаков (например, <tex>r > 0.95</tt>), классический метод LASSO случайным образом выберет один из них, занулив остальные. Это делает интерпретацию модели нестабильной. Для сохранения всей группы информативных связанных переменных необходимо отдавать предпочтение регуляризатору Elastic Net.
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | * ''Breiman L.'' Random forests // Machine learning. — 2001. — Vol. 45. — P. 5-32.
| + | |
| - | * ''Guyon I., Weston J., Barnhill S., Vapnik V.'' Gene selection for cancer classification using support vector machines // Machine learning. — 2002. — Vol. 46. — P. 389-422.
| + | |
| - | * ''Kohavi R., John G. H.'' Wrappers for feature subset selection // Artificial intelligence. — 1997. — Vol. 97, no. 1-2. — P. 273-324.
| + | |
| - | * ''Tibshirani R.'' Regression shrinkage and selection via the lasso // Journal of the Royal Statistical Society: Series B (Methodological). — 1996. — Vol. 58, no. 1. — P. 267-288.
| + | |
| - | * ''Zou H., Hastie T.'' Regularization and variable selection via the elastic net // Journal of the Royal Statistical Society Series B: Statistical Methodology. — 2005. — Vol. 67, no. 2. — P. 301-320.
| + | |
Методы фильтрации оценивают статистические свойства признаков изолированно от структуры и параметров финальной прогностической модели. Из-за вычислительной простоты они используются в качестве методов быстрой предварительной фильтрации (screener).
— усеченная матрица объектов размерности
, содержащая только столбцы с индексами из множества
,
— функция потерь алгоритма, а
— размер валидационной выборки.
:
