Очищенная кросс-валидация временных рядов

Материал из MachineLearning.

Версия от 21:07, 17 июля 2026; Polina Khadralinova (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM Gemini 3.1 Pro Preview и проверена участником Polina Khadralinova

Промпт приводится полностью в Обсуждение:Очищенная кросс-валидация временных рядов

Очищенная кросс-валидация временных рядов (от англ. Purged and Embargoed Cross-Validation, часто сокращенно PECV) — это специализированный метод разделения данных на обучающую и тестовую выборки, который позволяет честно оценить качество работы моделей машинного обучения на финансовых временных рядах. Методология предложена математиком Маркосом Лопесом де Прадо в качестве строгого решения фундаментальной проблемы «утечки данных» (data leakage) и является стандартом де-факто в современном количественном финансировании.

Содержание

1 Концепция: независимость наблюдений и проблема перекрытий
2 Математический фундамент
- 2.1 Очистка (Purging)
- 2.2 Эмбарго (Embargo)
3 Иллюзия метода бегущего окна и почему ломаются классические подходы
- 3.1 Теоретический изъян: потеря сценарного многообразия
- 3.2 Практический изъян: деградация объема выборки
4 См. также
5 Литература

Концепция: независимость наблюдений и проблема перекрытий

Концептуальное отличие очищенной кросс-валидации от классического скользящего контроля (K-Fold CV) наиболее ярко проявляется при анализе природы самих данных и процесса формирования целевой переменной (лейбла).

В классическом машинном обучении (например, при классификации изображений) данные предполагаются независимыми и одинаково распределенными (i.i.d.). Обучающая выборка формируется случайным перемешиванием. В финансовом машинном обучении такой подход приводит к катастрофическому переобучению из-за наличия перекрывающихся интервалов разметки (overlapping labels).

В финансах целевая переменная для момента времени $t$ часто представляет собой доходность актива, вычисленную на будущем горизонте от $t$ до $t+h$ . Сигнал (вектор признаков $x_t$ ) фиксируется в момент $t$ , а результат (лейбл $y_t$ ) становится известен только в момент $t+h$ . Если применить случайное разбиение K-Fold, неизбежно возникнет ситуация, когда наблюдение $t$ попадет в обучающую выборку, а соседнее наблюдение $t+1$ — в тестовую. Поскольку их интервалы оценки $[t, t+h]$ и $[t+1, t+1+h]$ практически полностью совпадают, модель в процессе обучения получает доступ к будущей информации из тестового множества. Алгоритм перестает выявлять рыночные закономерности и вместо этого просто запоминает (меморизирует) ответы.

Архитектура PECV решает эту проблему через полный отказ от наивного случайного разбиения. В классическом K-Fold тестовый и обучающий блоки соприкасаются вплотную. В PECV между ними динамически формируются «карантинные зоны» (Purge и Embargo), физически уничтожающие любые связи между обучением и тестом.

Математический фундамент

Для понимания математической базы очищенной кросс-валидации необходимо формализовать временные границы каждого наблюдения.

Пусть каждое наблюдение с индексом $i$ описывается вектором признаков (то, что мы знаем сейчас), зафиксированным в момент времени $t_{i,0}$ . Целевая переменная (событие, которое мы предсказываем) окончательно формируется только в будущем, в момент времени $t_{i,1}$ .

(Например: в понедельник утром мы строим прогноз на среду вечер — тогда наше наблюдение не является одной точкой, оно растягивается на три дня).*

Таким образом, каждое наблюдение охватывает временной интервал $[t_{i,0}, t_{i,1}]$ . Пусть мы выделили непрерывный блок данных для тестовой выборки, который начинается в момент $\text{test}_{\text{start}}$ и заканчивается в момент $\text{test}_{\text{end}}$ .

Чтобы гарантировать отсутствие утечки информации из тестового блока в обучающий, алгоритм PECV последовательно применяет две операции: очистку и эмбарго.

Очистка (Purging)

Механизм очистки удаляет из обучающей выборки любые наблюдения, горизонт оценки которых пересекается во времени с тестовым периодом.

Строго математически, обучающее наблюдение $i$ должно быть удалено (очищено), если его интервал $[t_{i,0}, t_{i,1}]$ пересекается с интервалом тестового блока $[\text{test}_{\text{start}}, \text{test}_{\text{end}}]$ . Это происходит при выполнении двух логических условий одновременно:

$t_{i,0} \le \text{test}_{\text{end}}$ и $t_{i,1} \ge \text{test}_{\text{start}}$

Первое условие означает, что событие началось до окончания тестового периода.
Второе условие означает, что результат события стал известен после начала тестового периода.

Если оба условия выполняются, наблюдение $i$ является «инфицированным» будущим знанием и безвозвратно удаляется из обучающего набора.

Эмбарго (Embargo)

Очистка решает проблему прямого пересечения лейблов (когда обучение заглядывает в тест), но не справляется с эффектом «памяти» ряда. Финансовые временные ряды и их признаки (например, скользящие средние) обладают высокой автокорреляцией.

Представьте, что один из признаков — это средняя цена актива за последние 14 дней. Если обучающее наблюдение $j$ следует сразу на следующий день после окончания тестового блока, то его вектор признаков $x_j$ физически содержит в себе цены за 13 дней из тестового периода! Вектор признаков действует как «губка», впитавшая информацию с экзамена. Обучаясь на таком наблюдении, модель может математически «развернуть» это среднее значение, подсмотреть, что происходило на тесте, и сжульничать.

Чтобы разорвать эту автокорреляционную связь, вводится вторая карантинная зона — окно эмбарго размером $h_{\text{embargo}}$ .

Математика шага требует удаления наблюдения $j$ из обучающей выборки, если оно попадает в теневую зону сразу после теста:

$\text{test}_{\text{end}} < t_{j,0} \le \text{test}_{\text{end}} + h_{\text{embargo}}$

В этой формуле $h_{\text{embargo}}$ — это гиперпараметр, выражающий время, необходимое для того, чтобы «память» признаков о тестовом множестве выветрилась, а корреляция упала до статистически незначимого уровня.

Иллюзия метода бегущего окна и почему ломаются классические подходы

Исторически, пытаясь избежать утечки данных без сложной математики очистки, исследователи прибегали к методу скользящего или расширяющегося окна — Walk-Forward (в библиотеках машинного обучения часто реализуется как TimeSeriesSplit). В этом методе модель всегда обучается строго на данных из прошлого и тестируется на данных из будущего. Долгие годы это считалось «золотым стандартом» тестирования алгоритмических стратегий.

Однако попытки масштабного применения Walk-Forward для сложных моделей машинного обучения столкнулись с непреодолимыми ограничениями.

Теоретический изъян: потеря сценарного многообразия

Главная проблема метода бегущего окна заключается в том, что он тестирует модель только на одной единственной исторической траектории. Финансовые рынки не являются стационарными процессами; они подвержены смене режимов. Обучая модель на данных за 2010–2015 годы и тестируя на 2016-м, мы проверяем работу алгоритма лишь в одном конкретном рыночном сценарии. Walk-Forward принципиально не способен ответить на вопрос: «Как повела бы себя модель в условиях 2010 года, если бы была обучена на паттернах 2016 года?».

Комбинаторная очищенная кросс-валидация решает эту задачу. Подобно стандартному K-Fold, она позволяет любому блоку данных выступить в роли теста, а всем остальным (прошлым и будущим по отношению к нему) — в роли обучающей выборки. Мы можем обучать модель на данных кризиса 2020 года и тестировать её на спокойном рынке 2017 года. Это заставляет нейросеть выучивать универсальные, инвариантные ко времени закономерности, а не просто подстраиваться под хронологический дрейф рынка.

Практический изъян: деградация объема выборки

За математическую честность приходится платить. Внедрение строгих карантинных зон (Purging и Embargo) приводит к сокращению объема доступных обучающих данных.

В плотных временных рядах (например, при внутридневной торговле), где каждый лейбл рассчитывается с большим горизонтом $h$ , очистка вокруг одного тестового блока может исключить из выборки тысячи полезных наблюдений. Это приводит к следующим фундаментальным проблемам:

Нестабильность градиентов при обучении глубоких нейросетей из-за резкого уменьшения размера эпохи.
Потеря репрезентативности обучающей выборки (если тестовый блок выпадает на период высокой волатильности, мы вынуждены удалять огромные массивы данных до и после него).
Возросшая чувствительность к выбору параметра $K$ (количества разбиений). Чем больше $K$ , тем больше карантинных зон мы вводим, и тем меньше данных остается для тренировки матриц весов.

В результате небрежное применение PECV может привести к тому, что модель банально не сойдется в процессе обучения из-за нехватки данных. Использование очищенной кросс-валидации требует ювелирной балансировки между размером тестового блока, шириной окна эмбарго и горизонтом оценки целевой переменной.

Несмотря на эти архитектурные сложности, индустрия не только не отказалась от метода, но и сделала его стандартом. Логическим развитием и «золотым сечением» современного количественного финансирования стала комбинаторная очищенная кросс-валидация (CPCV). Она опирается на те же строгие правила очистки и эмбарго, но комбинирует тренировочные и тестовые блоки таким образом, чтобы генерировать тысячи симулированных исторических траекторий (бэктестов) из одной конечной выборки. Тем не менее, базовая концепция PECV остаётся главным математически строгим барьером, защищающим исследователей от запуска переобученных моделей в реальную торговлю.

См. также

Литература

Lopez de Prado M. Advances in Financial Machine Learning. — John Wiley & Sons, 2018. — 400 с.
Арло К. Пособие по кросс-валидации для временных рядов. — М.: Финансы и Статистика, 2021.

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%9E%D1%87%D0%B8%D1%89%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BA%D1%80%D0%BE%D1%81%D1%81-%D0%B2%D0%B0%D0%BB%D0%B8%D0%B4%D0%B0%D1%86%D0%B8%D1%8F_%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%80%D1%8F%D0%B4%D0%BE%D0%B2»

Категории: Машинное обучение | Анализ временных рядов