Обсуждение:Скользящий контроль
Материал из MachineLearning.
О сути скользящего контроля
Участник:Vokov не согласен со следующим мнением Участник:Nvm: Скользящий контроль дает несмещенную точечную, но не интервальную оценку риска. В настоящее время не существует методов построения на основе скользящего контроля точных доверительных интервалов для риска, то есть математического ожидания потерь (в частности, вероятности ошибочной классификации).
Мнение Участник:Vokov таково.
Не следует пытаться оценивать конкретный алгоритм, полученный в результате обучения, с помощью скользящего контроля (CV). Почему так? Неужели CV — ненадёжная оценка? Нет, как раз наоборот: результат однократного обучения менее надёжен, чем CV-оценка. Если же считать, что скользящий контроль оценивает качество не конкретного классификатора, а метода обучения (или алгоритма обучения, learning algorithm), то сразу всё встаёт на свои места.
- Во-первых, если скользящий контроль делается по
случайным разбиениям, то
есть доверительный интервал с уровнем доверия
, см. Скользящий контроль#Доверительное оценивание. То есть если мы сделаем
-е случайное разбиение, снова обучимся и протестируемся, то с указанной вероятностью угодим в указанный интервал.
- Во-вторых, тогда полная выборка (обучающая+тестовая) считается случайной, что на мой взгляд очень естественно. Если же мы пытаемся оценить качество конкретного обученного алгоритма, то обучающую выборку приходится считать фиксированной, и сразу становится очень трудно связать качество этого алгоритма с CV-оценкой. Такие оценки известны; они довольно сложны, сходятся к нулю медленно, зависят от ёмкости семейства и стабильности метода обучения (sanity-check bounds); они приводят к слишком слабому выводу о том, что скользящий контроль характеризует качество алгоритма всего лишь не хуже, чем частота ошибок на обучении [1,2,3]. В статье Бонтемпи и Бираттари [4] показано, что этот подход извращает суть скользящего контроля. Не надо требовать от CV того, для чего он плохо подходит. Он оценивает качество метода обучения или, если угодно, модели, а не конкретного алгоритма. Он не в состоянии учесть, насколько плоха могла оказаться обучающая выборка в конкретном (единичном!) случае. Именно от этого и перестраховываются оценки типа sanity-check bounds.
Литература
- Kearns M. A bound on the error of cross validation using the approximation and estimation rates, with consequences for the training-test split // Advances in Neural Information Processing Systems / Ed. by D. S. Touretzky, M. C. Mozer, M. E. Hasselmo. — Vol. 8. — The MIT Press, 1996. — Pp. 183–189.
- Kearns M. J., Ron D. Algorithmic stability and sanity-check bounds for leave-one-out cross-validation // Computational Learning Theory. — 1997. — Pp. 152–162.
- Holden S. B. Cross-validation and the pac learning model: Tech. Rep. RN/96/64: Dept. of CS, Univ. College, London, 1996.
- Bontempi G., Birattari M. A bound on the cross-validation estimate for algorithm assessment // Eleventh Belgium/Netherlands Conference on Artificial Intelligence (BNAIC). — 1999. — Pp. 115–122.
