Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} '''Оптимальное прореживание нейронных сетей''' (англ. optimal brain surgery)&nbsp;— метод упрощения структуры [[регрессионная модель|регрессионной модели]], например, [[нейронная сеть|нейронной сети]]. Основная идея прореживания (англ. pruning) заключается в том, что те элементы модели или те нейроны сети, которые оказывают малое влияние на ошибку аппроксимации, можно исключить из модели без значительного ухудшения качества аппроксимации. == История метода == ''Метод второго порядка'' (использующий '''анализ чувствительности''', основанный на вычислении вторых производных) был предложен ЛеКюном в 1990 году<ref>LeCun&nbsp;Y., Denker&nbsp;J.&nbsp;S., Solla&nbsp;S.&nbsp;A. [http://citeseer.ist.psu.edu/lecun90optimal.html Optimal brain damage]&nbsp;/ Touretzky&nbsp;D.&nbsp;S.&nbsp; ed., Advances in Neural Information Processing Systems 2. Morgan Kaufmann, San Mateo, CA. 1990. P.&nbsp;598—605. </ref> и назывался «optimal brain damage». Затем он был развит Хассиби<ref>Hassibi&nbsp;B., Stork&nbsp;D.&nbsp;G. [http://citeseer.ist.psu.edu/hassibi93second.html Second order derivatives for network pruning: Optimal brain surgeon]&nbsp;/ NIPS 5. 1993.</ref> и получил название «optimal brain surgery». Несколько ранее были предложены методы прореживания<ref>Sietsma J., Dow R.J.F., Neural net pruning — why and how. In: Proc. IJCNN'88, San Diego, CA., IEEE, Vol.1. — pp.325-333.</ref> и скелетонизации<ref>Mozer M.C., Smolensky P. Skeletonization: a technique for trimming the fat from a network via relevance assessment. In: Advances in Neural Network Information Processing Systems, Morgan Kaufmann, 1989. Vol.1, pp.107-115.</ref> нейронных сетей, основанные просто на удалении элементов с наименьшими весами (''методы нулевого порядка''). Наконец, в том же 1990 году А. Н. Горбанём был предложен эффективный метод, основанный на анализе первых производных в ходе обучения градиентными методами и не требующий отдельного дифференцирования.<ref name="Gorban">Горбань А. Н., Обучение нейронных сетей. М.: изд. СССР-США СП «Параграф», 1990. 160 с.</ref> Кроме задачи удаления элементов решались также другие проблемы упрощения: уменьшение разрядности весов и сигналов (огрубление), упрощение функций активации нейронов, получение интерпретируемого знания и&nbsp;т.&nbsp;д. Вся совокупность подходов получила также название «''контрастирование нейронных сетей''». Описание основных показателей чувствительности представлено в обзоре.<ref>Gorban A. N., Mirkes Eu. M., Tsaregorodtsev V. G. [http://arxiv.org/abs/cond-mat/0307083 Generation of Explicit Knowledge from Empirical Data through Pruning of Trainable Neural Networks] In: Proc. IJCNN'99, Washington DC, July 1999, IEEE, Vol. 6, pp. 4393-4398.</ref> [http://ru.wikipedia.org/wiki/Миркес Е. М. Миркес] в проекте «Идеального нейрокомпьютера» на основе подхода Горбаня и опыта разработки прикладного программного обеспечения ввёл элемент «Контрастёр», построил библиотеку его основных функций и разработал язык описания.<ref>Миркес Е. М., [http://pca.narod.ru/MirkesNeurocomputer.htm Нейрокомпьютер. Проект стандарта.]- Новосибирск: Наука, Сибирская издательская фирма РАН, 1999 .- 337 с. ISBN 5-02-031409-9 (Глава 9: «Контрастер»)</ref> Для подготовки нейронной сети к упрощению оказывается полезным ввести в оценку её работы, минимизируемую при обучении, штрафные слагаемые (англ. penalty), штрафующие за сложность. Эти алгоритмы введены в книге А. Н. Горбаня<ref name="Gorban" />. Такой подход был впоследствии переоткрыт и положен в основу ''теории структурного обучения'' Ишикавы и Зурады.<ref>Ishikawa S., Structural learning with forgetting, Neural Networks, 1996, Vol.9, 3, 509-521.</ref><ref>Miller D. A., Zurada, J. M., A dynamical system perspective of structural learning with forgetting, IEEE Transactions on Neural Networks, Vol. 9, 3, 1998, 508-515.</ref> == Описание метода второго порядка == Рассмотрим регрессионную модель <tex>y_n=f(\mathbf{w},\x_n)+\nu</tex>, в которой&nbsp;<tex>\x</tex>&nbsp;— [[регрессионный анализ|независимая переменная]], <tex>y</tex>&nbsp;— [[регрессионный анализ|зависимая переменная]], <tex>\mathbf{w}</tex>&nbsp;— параметры регрессионной модели&nbsp;<tex>f</tex>, и&nbsp;<tex>\nu</tex>&nbsp;— аддитивная [[случайная величина]]. Задана [[выборка|регрессионная выборка]]&nbsp;— множество пар&nbsp;<tex>D=\{(\mathbf{x}_n, y_n)\}</tex>, <tex>n=1,\ldots,N</tex>. Для построения [[регрессионный анализ|регрессии]] требуется найти такие параметры&nbsp;<tex>\mathbf{w}^{MP}</tex>, которые доставляли бы наименьшее значение функции ошибки&nbsp;<tex>E_D</tex>. Найдем локальную аппроксимацию функции&nbsp;<tex>E_D</tex> в окрестности точки&nbsp;&nbsp;<tex>\mathbf{w}^{MP}</tex> с помощью разложения в [[ряд Тейлора]]: ::<tex>E_D(\mathbf{w}+\Delta\mathbf{w}) = E_D(\mathbf{w}) + \mathbf{g}^T(\mathbf{w})\Delta\mathbf{w} + \frac{1}{2}\Delta\mathbf{w}^TH\Delta\mathbf{w} +o(\|\mathbf{w}\|^3),</tex> где&nbsp;<tex>\mathbf{w}</tex>&nbsp;— возмущение вектора параметров&nbsp;<tex>\mathbf{w}</tex>, <tex>\mathbf{g}</tex>&nbsp;— градиент <tex>\frac{\partial S}{\partial \mathbf{w}}</tex>, и <tex>H=H(\mathbf{w})</tex>&nbsp;— матрица вторых производных ([[матрица Гессе]]) <tex>\frac{\partial^2 S}{\partial \mathbf{w}^2}</tex>. Предполагается, что функция&nbsp;<tex>E_D(\mathbf{w})</tex> достигает своего максимума при значении параметров&nbsp;<tex>\mathbf{w}=\mathbf{w}^{MP}</tex> и ее поверхность квадратична. Таким образом, предыдущее выражение можно упростить и представить в виде ::<tex>\Delta E_D = E_D(\mathbf{w}+\Delta\mathbf{w})-E_D(\mathbf{w}) = \frac{1}{2}\Delta\mathbf{w}^TH\Delta\mathbf{w}.</tex> Пусть исключение элемента модели есть исключение одного параметра модели,&nbsp;<tex>w_i</tex>. Исключенный параметр будем считать равным нулю. Это самое сильное ограничение, не позволяющее применять данный метод для регрессионных моделей произвольного вида. Исключение элемента эквивалентно выражению&nbsp;<tex>\Delta w_i+w_i=0</tex>, иначе ::<tex>\mathbf{e}_i^T\Delta\mathbf{w}+w_i=0,</tex> где&nbsp;<tex>\mathbf{e}_i</tex>&nbsp;— вектор, <tex>i</tex>-й элемент которого равен единице, все остальные элементы равны нулю. Для нахождения исключаемого элемента требуется минимизировать квадратичную форму <tex>\Delta\mathbf{w}^TH\Delta\mathbf{w}</tex> относительно <tex>\Delta\mathbf{w}</tex> при ограничениях <tex>\mathbf{e}_i^T+w_i=0</tex>, для всех значений&nbsp;<tex>i</tex>. Индекс&nbsp;<tex>i</tex>, который доставляет минимум квадратичной форме, задает номер исключаемого элемента: ::<tex>i = \arg\min_i(\min_{\Delta\mathbf{w}} (\Delta\mathbf{w}^TH\Delta\mathbf{w} | \mathbf{e}_i^T\Delta\mathbf{w}+w_i=0)).</tex> Задача условной минимизации решается с помощью введения [[Лагранжиан]]а ::<tex>S=\Delta\mathbf{w}^TH\Delta\mathbf{w}-\lambda(\mathbf{e}_i^T\Delta\mathbf{w}+w_i),</tex> в котором&nbsp;<tex>\lambda</tex>&nbsp;— [[множитель Лагранжа]]. Дифференцируя Лагранжиан по приращению параметров и приравнивая его к нулю получаем (для каждого индекса&nbsp;<tex>i</tex> параметра&nbsp;<tex>w_i</tex>) ::<tex>\Delta\mathbf{w}=-\frac{w_i}{[H^{-1}]_{ii}}H^{-1}\mathbf{e}_i.</tex> Этому значению вектора приращений параметров соответствует минимальное значение Лагранжиана ::<tex>L_i=\frac{w_i^2}{2[H^{-1}]_{ii}}.</tex> Полученное выражение называется мерой выпуклости функции ошибки&nbsp;<tex>E_D</tex> при изменении параметра&nbsp;<tex>w_i</tex>. Функция&nbsp;<tex>L_i</tex> зависит от квадрата параметра&nbsp;<tex>w_i</tex>. Это что говорит о том, что параметр с малым значением скорее всего будет удален из модели. Однако если величина&nbsp;<tex>[H^{-1}]_{ii}</tex> достаточно мала, это означает, что данный параметр оказывает существенное влияние на качество аппроксимации модели. == Алгоритм == Задана выборка&nbsp;<tex>D</tex>, модель&nbsp;<tex>f(\mathbf{w},\x)</tex>, функция ошибки&nbsp;<tex>E_D</tex>. Для упрощения структуры регрессионной модели выполняем следующие шаги. # Настраиваем модель, получаем параметры <tex>\mathbf{w}^{MP}=\arg\min(E_D(\mathbf{w}|f,D))</tex>. # Для приращения&nbsp;<tex>\mathbf{w}^{MP}+\Delta\mathbf{w}</tex> решаем оптимизационную задачу, находим для каждого индекса&nbsp;<tex>i</tex> минимальное значение Лагранжиана&nbsp;<tex>L_i</tex>. # Выбираем среди&nbsp;<tex>L_i</tex> минимальное, отсекаем элемент модели, соответствующий&nbsp;<tex>i</tex>-му параметру. # Добавляем к вектору параметров <tex>\mathbf{w}^{MP}</tex>, вектор приращений&nbsp;<tex>\Delta\mathbf{w}</tex>, соответствующий отсеченому параметру. # Получаем упрощенную модель. Модель перенастраивать не требуется. # Процедуру можно повторять до тех пор, пока значение ошибки не превзойдет заранее заданное. == Смотри также == # [[Регрессионный анализ]] # [[Регрессионная модель]] # [[Нелинейная регрессия]] == Литература == # Хайкин С. Нейронные сети, полный курс. 2е издание, испр. - М: Вильямс. 2008. - 1103 с. ISBN 978-5-8459-0890-2 # Миркес Е. М., [http://pca.narod.ru/MirkesNeurocomputer.htm Нейрокомпьютер. Проект стандарта.]- Новосибирск: Наука, Сибирская издательская фирма РАН, 1999. - 337 с. ISBN 5-02-031409-9 # Горбань А. Н., [http://lib.sibnet.ru/book/11961 Обучение нейронных сетей]. М.: изд. СССР-США СП «Параграф», 1990. 160 с. == Примечания == {{список примечаний}} [[Категория:Регрессионный анализ]] [[Категория:Энциклопедия анализа данных]]

• Шаблон:TOCright
• Шаблон:Примечания
• Шаблон:Список примечаний

Возврат к странице Оптимальное прореживание нейронных сетей.