Градиент

Материал из MachineLearning.

Перейти к: навигация, поиск

Градиент (англ. gradient) — вектор, составленный из частных производных скалярной функции нескольких переменных. Градиент показывает направление наиболее быстрого локального возрастания функции, а противоположный ему вектор — направление наиболее быстрого убывания.

Градиент является одним из основных понятий математического анализа и численной оптимизации. В машинном обучении он используется для настройки параметров моделей, минимизации функций потерь и обучения нейронных сетей. На вычислении градиента основаны метод градиентного спуска, метод стохастического градиента и многие современные алгоритмы оптимизации.

Если обычная производная показывает скорость изменения функции одной переменной, то градиент объединяет информацию об изменении функции по всем координатам.

Содержание

Определение

Пусть задана дифференцируемая функция

f\colon\Omega\subseteq\mathbb{R}^n\to\mathbb{R},

где аргумент функции представляет собой вектор

\mathbf{x}=(x_1,x_2,\ldots,x_n)^T.

Градиентом функции f в точке \mathbf{x} называется вектор её частных производных:

\nabla f(\mathbf{x})=\left(\begin{array}{c}\dfrac{\partial f}{\partial x_1}(\mathbf{x})\\[4pt]\dfrac{\partial f}{\partial x_2}(\mathbf{x})\\\vdots\\\dfrac{\partial f}{\partial x_n}(\mathbf{x})\end{array}\right).

Для обозначения градиента используются записи \nabla f, \operatorname{grad}f и \nabla_{\mathbf{x}}f. Последняя запись явно указывает переменные, по которым выполняется дифференцирование.

Символ \nabla называется оператором набла (англ. nabla operator). В декартовых координатах его формально записывают как

\nabla=\left(\begin{array}{c}\dfrac{\partial}{\partial x_1}\\[4pt]\dfrac{\partial}{\partial x_2}\\\vdots\\\dfrac{\partial}{\partial x_n}\end{array}\right).

В трёхмерном пространстве градиент функции f(x,y,z) имеет вид

\nabla f=\frac{\partial f}{\partial x}\mathbf{e}_x+\frac{\partial f}{\partial y}\mathbf{e}_y+\frac{\partial f}{\partial z}\mathbf{e}_z,

где \mathbf{e}_x, \mathbf{e}_y и \mathbf{e}_z — базисные векторы.

Интуитивная интерпретация

Функцию двух переменных f(x,y) можно представить в виде поверхности, высота которой над точкой (x,y) равна значению функции. В таком представлении градиент указывает направление наиболее крутого подъёма, а его норма характеризует крутизну поверхности.

Для уменьшения функции требуется двигаться в противоположную сторону — по направлению антиградиента:

-\nabla f(\mathbf{x}).

Эта идея лежит в основе градиентного спуска (англ. gradient descent).

Градиент также можно интерпретировать с помощью линий уровня. Линия уровня объединяет точки, в которых функция принимает одинаковое значение. Градиент направлен поперёк линии уровня в сторону увеличения функции.

Локальное линейное приближение

Основное свойство градиента связано с локальным линейным приближением (англ. local linear approximation). Для малого приращения \mathbf{h} выполняется

f(\mathbf{x}+\mathbf{h})=f(\mathbf{x})+\nabla f(\mathbf{x})^T\mathbf{h}+o(\|\mathbf{h}\|).

При достаточно малом \mathbf{h} можно использовать приближённое равенство

f(\mathbf{x}+\mathbf{h})-f(\mathbf{x})\approx\nabla f(\mathbf{x})^T\mathbf{h}.

Таким образом, скалярное произведение градиента на изменение аргумента показывает приближённое изменение значения функции.

Дифференциал функции записывается в виде

df=\sum_{i=1}^{n}\frac{\partial f}{\partial x_i}\,dx_i=\nabla f(\mathbf{x})^T d\mathbf{x}.

Локальное линейное приближение лежит в основе градиентных методов оптимизации: алгоритм использует поведение функции в текущей точке, чтобы выбрать направление следующего шага.[1]

Геометрический смысл

Производная по направлению

Пусть \mathbf{u} — единичный вектор. Производная по направлению (англ. directional derivative) определяется как

D_{\mathbf{u}}f(\mathbf{x})=\lim_{t\to 0}\frac{f(\mathbf{x}+t\mathbf{u})-f(\mathbf{x})}{t}.

Если функция дифференцируема, производная по направлению выражается через градиент:

D_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})^T\mathbf{u}.

Пусть \varphi — угол между векторами \nabla f(\mathbf{x}) и \mathbf{u}. Тогда

D_{\mathbf{u}}f(\mathbf{x})=\|\nabla f(\mathbf{x})\|_2\cos\varphi.

Максимальная производная по направлению достигается при \varphi=0. Следовательно, функция наиболее быстро возрастает в направлении

\mathbf{u}_{\max}=\frac{\nabla f(\mathbf{x})}{\|\nabla f(\mathbf{x})\|_2}.

Максимальная скорость возрастания равна норме градиента:

D_{\mathbf{u}_{\max}}f(\mathbf{x})=\|\nabla f(\mathbf{x})\|_2.

Наиболее быстрое убывание происходит в противоположном направлении:

\mathbf{u}_{\min}=-\frac{\nabla f(\mathbf{x})}{\|\nabla f(\mathbf{x})\|_2}.

Утверждение о наиболее быстром изменении предполагает использование стандартной евклидовой нормы. При другой геометрии пространства направление наискорейшего изменения может отличаться.

Линии и поверхности уровня

Множеством уровня (англ. level set) функции называется множество

L_c=\{\mathbf{x}\mid f(\mathbf{x})=c\},

где c — некоторое постоянное значение.

Для функции двух переменных множества уровня обычно являются линиями, а для функции трёх переменных — поверхностями.

Если \nabla f(\mathbf{x})\ne 0, то градиент перпендикулярен множеству уровня, проходящему через точку \mathbf{x}. При движении вдоль множества уровня значение функции не изменяется, поэтому для любого касательного направления \mathbf{u}

D_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})^T\mathbf{u}=0.

Следовательно, градиент ортогонален всем касательным направлениям.

Это свойство используется при решении задач оптимизации с ограничениями, построении нормалей к поверхностям, обработке изображений и моделировании физических полей.

Пример вычисления

Рассмотрим функцию

f(x,y)=(x-1)^2+4(y+2)^2.

Её частные производные равны

\frac{\partial f}{\partial x}=2(x-1),
\frac{\partial f}{\partial y}=8(y+2).

Следовательно,

\nabla f(x,y)=\left(\begin{array}{c}2(x-1)\\8(y+2)\end{array}\right).

В точке (3,-1) получаем

\nabla f(3,-1)=\left(\begin{array}{c}4\\8\end{array}\right).

Это означает, что в окрестности точки (3,-1) функция наиболее быстро возрастает в направлении вектора (4,8)^T и наиболее быстро убывает в направлении (-4,-8)^T.

Единичное направление наиболее быстрого возрастания равно

\frac{\nabla f(3,-1)}{\|\nabla f(3,-1)\|_2}=\frac{1}{\sqrt{5}}\left(\begin{array}{c}1\\2\end{array}\right).

В точке (1,-2) градиент обращается в нуль:

\nabla f(1,-2)=\left(\begin{array}{c}0\\0\end{array}\right).

Для рассматриваемой функции эта точка является глобальным минимумом. Однако в общем случае нулевой градиент не гарантирует наличие минимума.

Связь с якобианом и гессианом

Для функции одной переменной градиент состоит из одной компоненты и совпадает с обычной производной:

\nabla f(x)=f'(x).

Для скалярной функции нескольких переменных полная производная является линейным отображением

Df(\mathbf{x})\colon\mathbb{R}^n\to\mathbb{R}.

В евклидовом пространстве она представляется с помощью градиента:

Df(\mathbf{x})[\mathbf{h}]=\nabla f(\mathbf{x})^T\mathbf{h}.

Для векторнозначной функции

\mathbf{g}\colon\mathbb{R}^n\to\mathbb{R}^m

используется матрица Якоби, или якобиан (англ. Jacobian matrix):

J_{\mathbf{g}}(\mathbf{x})=\left(\begin{array}{ccc}\dfrac{\partial g_1}{\partial x_1}&\cdots&\dfrac{\partial g_1}{\partial x_n}\\\vdots&\ddots&\vdots\\\dfrac{\partial g_m}{\partial x_1}&\cdots&\dfrac{\partial g_m}{\partial x_n}\end{array}\right).

Матрица вторых частных производных скалярной функции называется матрицей Гессе, или гессианом (англ. Hessian matrix):

H_f(\mathbf{x})=\nabla^2f(\mathbf{x})=\left[\frac{\partial^2f}{\partial x_i\partial x_j}\right]_{i,j=1}^{n}.

Градиент описывает локальный наклон функции, а гессиан — изменение градиента и локальную кривизну.

В литературе встречаются разные соглашения о представлении градиента в виде строки или столбца. В данной статье градиент считается вектором-столбцом.

Правила вычисления

Для дифференцируемых функций f и g и постоянной c выполняются правила

\nabla(cf)=c\nabla f,
\nabla(f+g)=\nabla f+\nabla g,
\nabla(fg)=g\nabla f+f\nabla g,
\nabla\left(\frac{f}{g}\right)=\frac{g\nabla f-f\nabla g}{g^2},\qquad g\ne 0.

Для композиции функций применяется цепное правило (англ. chain rule). Пусть

\mathbf{g}\colon\mathbb{R}^n\to\mathbb{R}^m,\qquad f\colon\mathbb{R}^m\to\mathbb{R}.

Тогда

\nabla_{\mathbf{x}}f(\mathbf{g}(\mathbf{x}))=J_{\mathbf{g}}(\mathbf{x})^T\nabla_{\mathbf{z}}f(\mathbf{z})\big|_{\mathbf{z}=\mathbf{g}(\mathbf{x})}.

Последовательное применение цепного правила позволяет вычислять градиенты сложных композиций функций. На этом принципе основаны обратное распространение ошибки и автоматическое дифференцирование.

Стационарные точки

Точка \mathbf{x}^*, в которой

\nabla f(\mathbf{x}^*)=0,

называется стационарной точкой (англ. stationary point).

Равенство градиента нулю является необходимым условием локального экстремума во внутренней точке области определения дифференцируемой функции. Однако это условие не является достаточным.

Стационарная точка может быть:

  • локальным минимумом;
  • локальным максимумом;
  • седловой точкой (англ. saddle point);
  • частью плоской области;
  • вырожденной точкой.

Например, для функции

f(x,y)=x^2-y^2

градиент равен

\nabla f(x,y)=\left(\begin{array}{c}2x\\-2y\end{array}\right).

В точке (0,0) он обращается в нуль. При этом

f(x,0)=x^2\geq 0,

а

f(0,y)=-y^2\leq 0.

Следовательно, точка (0,0) является седловой.

Если гессиан в стационарной точке положительно определён, точка является строгим локальным минимумом. Если гессиан отрицательно определён, точка является строгим локальным максимумом. Неопределённый гессиан соответствует седловой точке.[1]

Зависимость от геометрии пространства

Производная скалярной функции является линейным функционалом, или ковектором (англ. covector). Для её представления в виде вектора необходимо выбрать скалярное произведение.

В евклидовом пространстве градиент определяется равенством

Df(\mathbf{x})[\mathbf{h}]=\langle\nabla f(\mathbf{x}),\mathbf{h}\rangle.

Пусть скалярное произведение задаётся симметричной положительно определённой матрицей G:

\langle\mathbf{u},\mathbf{v}\rangle_G=\mathbf{u}^TG\mathbf{v}.

Тогда градиент относительно этой геометрии равен

\operatorname{grad}_G f=G^{-1}\nabla f.

Следовательно, направление наиболее быстрого убывания зависит от выбранной метрики. Обычный антиградиент задаёт это направление только относительно стандартной евклидовой нормы.

В машинном обучении с этим связаны влияние масштаба признаков и эффективность предобусловливания (англ. preconditioning). Изменение масштаба координат может существенно изменить траекторию градиентного метода.

Применение в оптимизации

Для минимизации дифференцируемой функции используется метод градиентного спуска. Его итерация имеет вид

\mathbf{x}_{k+1}=\mathbf{x}_k-\eta_k\nabla f(\mathbf{x}_k),

где \eta_k>0 — величина шага.

В машинном обучении величину шага часто называют скоростью обучения (англ. learning rate).

Выбор антиградиента объясняется локальным приближением:

f(\mathbf{x}-\eta\nabla f(\mathbf{x}))\approx f(\mathbf{x})-\eta\|\nabla f(\mathbf{x})\|_2^2.

Если градиент не равен нулю, то при достаточно малом положительном \eta значение функции уменьшается.

Слишком маленький шаг приводит к медленной сходимости, а слишком большой может вызвать колебания или расходимость. Для выбора шага применяются постоянная скорость обучения, убывающая последовательность шагов, поиск шага (англ. line search) и адаптивные методы.

Градиент используется в следующих методах:

Градиент содержит информацию только первого порядка. Методы Ньютона и квазиньютоновские методы дополнительно используют гессиан или его приближение.

Градиент в машинном обучении

Настройка параметров модели

Пусть алгоритм

a(\mathbf{x};\boldsymbol{\theta})

зависит от вектора параметров

\boldsymbol{\theta}=(\theta_1,\ldots,\theta_p)^T.

Качество алгоритма на обучающей выборке может задаваться функционалом эмпирического риска

Q(\boldsymbol{\theta})=\frac{1}{m}\sum_{i=1}^{m}\ell\left(a(\mathbf{x}_i;\boldsymbol{\theta}),y_i\right),

где \ell — функция потерь, а m — число объектов обучающей выборки.

Градиент

\nabla_{\boldsymbol{\theta}}Q(\boldsymbol{\theta})

показывает чувствительность эмпирического риска к изменению каждого параметра модели. Общая постановка задачи рассматривается в статье Минимизация эмпирического риска.

Компонента

\frac{\partial Q}{\partial\theta_j}

показывает, как локально изменится ошибка при изменении параметра \theta_j, если остальные параметры остаются фиксированными.

Градиентные методы применяются при обучении линейной регрессии, логистической регрессии, многослойных персептронов и других дифференцируемых моделей.

Пример: линейная регрессия

Рассмотрим линейную модель

\widehat{\mathbf{y}}=\mathbf{Xw},

где \mathbf{X} — матрица признаков, \mathbf{w} — вектор параметров, \mathbf{y} — вектор целевых значений.

Для квадратичной функции потерь

Q(\mathbf{w})=\frac{1}{2m}\|\mathbf{Xw}-\mathbf{y}\|_2^2

градиент равен

\nabla_{\mathbf{w}}Q(\mathbf{w})=\frac{1}{m}\mathbf{X}^T(\mathbf{Xw}-\mathbf{y}).

Вектор

\mathbf{r}=\mathbf{Xw}-\mathbf{y}

содержит остатки модели. Умножение на \mathbf{X}^T объединяет ошибки с соответствующими значениями признаков и определяет направление изменения каждого параметра.

При добавлении квадратичной регуляризации

Q_{\lambda}(\mathbf{w})=\frac{1}{2m}\|\mathbf{Xw}-\mathbf{y}\|_2^2+\frac{\lambda}{2}\|\mathbf{w}\|_2^2

градиент принимает вид

\nabla_{\mathbf{w}}Q_{\lambda}(\mathbf{w})=\frac{1}{m}\mathbf{X}^T(\mathbf{Xw}-\mathbf{y})+\lambda\mathbf{w}.

Добавка \lambda\mathbf{w} направляет параметры к нулю и ограничивает сложность модели.

Нейронные сети

Выход нейронной сети является композицией большого числа функций. Отдельный слой можно записать как

\mathbf{h}_{k+1}=\sigma(W_k\mathbf{h}_k+\mathbf{b}_k),

где W_k — матрица весов, \mathbf{b}_k — вектор смещений, а \sigma — функция активации.

Для обучения сети требуется вычислить производные функции потерь по всем параметрам. Для этого используется обратное распространение ошибки (англ. backpropagation) — последовательное применение цепного правила от выходного слоя к входному.

Работа Д. Румельхарта, Дж. Хинтона и Р. Уильямса 1986 года сыграла важную роль в распространении обратного распространения ошибки для обучения многослойных нейронных сетей.[1]

Обратное распространение вычисляет градиенты, но не определяет способ обновления параметров. Полученные градиенты передаются алгоритму оптимизации: градиентному спуску, SGD, Adam или другому методу.

Стохастическая оценка градиента

При большой обучающей выборке вычисление полного градиента на каждой итерации может быть слишком затратным. Поэтому градиент часто оценивают по случайному мини-пакету (англ. mini-batch) B:

\widehat{\nabla Q}(\boldsymbol{\theta})=\frac{1}{|B|}\sum_{i\in B}\nabla_{\boldsymbol{\theta}}\ell_i(\boldsymbol{\theta}).

При случайном равновероятном выборе объектов эта величина является несмещённой оценкой полного градиента:

\mathbb{E}\left[\widehat{\nabla Q}(\boldsymbol{\theta})\right]=\nabla Q(\boldsymbol{\theta}).

Случайная оценка имеет ненулевую дисперсию, поэтому отдельные шаги могут не уменьшать функцию потерь. Однако вычисление одной итерации становится значительно дешевле.

Такой подход лежит в основе метода стохастического градиента и стохастического градиентного спуска.

Теоретические основы стохастической аппроксимации были предложены Г. Роббинсом и С. Монро в 1951 году.[1]

Другие применения

В машинном обучении градиенты используются также:

  • для анализа чувствительности модели к входным признакам;
  • при построении локальных объяснений предсказаний;
  • в состязательных атаках на модели;
  • при обучении с подкреплением;
  • при оптимизации гиперпараметров;
  • в метаобучении;
  • в градиентном бустинге.

В градиентном бустинге оптимизация выполняется в пространстве функций. На очередной итерации базовый алгоритм приближает направление антиградиента функции потерь.

Способы вычисления градиента

Аналитическое дифференцирование

При аналитическом дифференцировании формула градиента выводится вручную с помощью правил дифференцирования.

Такой подход позволяет получить эффективную формулу, однако для сложных моделей ручной вывод становится трудоёмким и подверженным ошибкам.

Символьное дифференцирование

Символьное дифференцирование (англ. symbolic differentiation) преобразует исходное математическое выражение в новое выражение для его производной.

Например,

\frac{d}{dx}\sin(x^2)=2x\cos(x^2).

Недостатком является возможное быстрое увеличение размера промежуточных выражений.

Численное дифференцирование

При численном дифференцировании производная приближается конечными разностями (англ. finite differences).

Правая разность имеет вид

\frac{\partial f}{\partial x_i}(\mathbf{x})\approx\frac{f(\mathbf{x}+h\mathbf{e}_i)-f(\mathbf{x})}{h}.

Центральная разность определяется формулой

\frac{\partial f}{\partial x_i}(\mathbf{x})\approx\frac{f(\mathbf{x}+h\mathbf{e}_i)-f(\mathbf{x}-h\mathbf{e}_i)}{2h}.

Центральная разность обычно имеет меньшую ошибку аппроксимации, но требует двух вычислений функции для каждой координаты.

Выбор шага h является компромиссом. Слишком большой шаг увеличивает ошибку аппроксимации, а слишком малый усиливает влияние машинного округления.

Численное дифференцирование редко используется для обучения моделей с большим числом параметров, поскольку его вычислительная стоимость растёт линейно с размерностью. Однако оно применяется для проверки градиента (англ. gradient checking).

Для проверки можно сравнить вычисленный градиент \mathbf{g} с численной оценкой \widehat{\mathbf{g}}:

\varepsilon=\frac{\|\mathbf{g}-\widehat{\mathbf{g}}\|_2}{\|\mathbf{g}\|_2+\|\widehat{\mathbf{g}}\|_2}.

Малое значение \varepsilon указывает на согласованность двух способов вычисления.

Автоматическое дифференцирование

Автоматическое дифференцирование (англ. automatic differentiation, AD) применяет цепное правило непосредственно к последовательности элементарных операций программы.

В отличие от численного дифференцирования, оно не заменяет производную конечной разностью. В отличие от символьного дифференцирования, оно обычно не строит отдельное выражение для всей производной.

Различают два основных режима:

  • прямой режим (англ. forward mode);
  • обратный режим (англ. reverse mode).

Прямой режим удобен, если число входных переменных мало по сравнению с числом выходов. Обратный режим особенно эффективен для функций с большим числом входов и одним скалярным выходом.

Именно такая ситуация возникает при обучении нейронной сети: входами для дифференцирования являются многочисленные параметры, а выходом — одно значение функции потерь.

Обратное распространение ошибки является частным случаем обратного режима автоматического дифференцирования.[1]

Ограничения и типичные ошибки

Недифференцируемость

Градиент существует не во всех точках. Например, функция

f(x)=|x|

не имеет производной при x=0.

Для выпуклых недифференцируемых функций используются субградиенты (англ. subgradients). Вектор \mathbf{g} является субградиентом выпуклой функции f в точке \mathbf{x}, если для всех \mathbf{y}

f(\mathbf{y})\geq f(\mathbf{x})+\mathbf{g}^T(\mathbf{y}-\mathbf{x}).

В отличие от обычного градиента, субградиент в одной точке может быть не единственным.

Нулевой градиент

Условие

\nabla f(\mathbf{x})=0

не гарантирует, что точка является минимумом. Она может быть максимумом, седловой точкой или частью плоской области.

Кроме того, тест по вторым производным иногда не позволяет определить тип стационарной точки. Например, для функции

f(x)=x^4

в точке x=0 первая и вторая производные равны нулю, хотя эта точка является строгим минимумом.

Локальный характер информации

Градиент описывает поведение функции только в окрестности текущей точки. Направление, локально уменьшающее функцию, не обязано вести к глобальному минимуму.

В невыпуклой задаче алгоритм может попасть в локальный минимум, седловую точку или плоскую область. При слишком большой величине шага значение функции может увеличиться даже при движении по антиградиенту.

Масштаб признаков

Если разные координаты имеют существенно различные масштабы, линии уровня функции могут быть сильно вытянуты. В этом случае градиентный спуск часто движется по зигзагообразной траектории и медленно приближается к минимуму.

Для уменьшения этой проблемы применяются:

  • стандартизация признаков;
  • нормализация;
  • предобусловливание;
  • адаптивные алгоритмы оптимизации;
  • методы, использующие информацию о кривизне функции.

Исчезающие и взрывающиеся градиенты

При многократном применении цепного правила производные перемножаются. В глубоких и рекуррентных нейронных сетях это может приводить к двум явлениям:

  • исчезающему градиенту (англ. vanishing gradient);
  • взрывающемуся градиенту (англ. exploding gradient).

При исчезновении градиента ранние слои сети получают очень малые обновления и практически перестают обучаться. Это явление подробнее описано в статье Проблема исчезающего градиента.

При взрыве градиента его норма быстро увеличивается, что приводит к большим обновлениям параметров и численной нестабильности.

Для борьбы с этими проблемами применяются:

  • подходящая инициализация параметров;
  • функции активации ReLU и их модификации;
  • нормализация;
  • остаточные соединения;
  • архитектуры LSTM и GRU;
  • обрезка градиента (англ. gradient clipping).

При обрезке по норме градиент заменяется выражением

\widetilde{\mathbf{g}}=\mathbf{g}\min\left(1,\frac{\tau}{\|\mathbf{g}\|_2}\right),

где \tau — максимально допустимая норма.[1]

Ошибки программной реализации

При программировании градиентов часто встречаются следующие ошибки:

  • неправильное применение цепного правила;
  • несогласованность размерностей векторов и матриц;
  • пропущенное транспонирование;
  • дифференцирование по неправильной переменной;
  • неправильное усреднение градиентов мини-пакета;
  • накопление градиентов между итерациями;
  • случайное отсоединение части вычислительного графа;
  • численная неустойчивость функции потерь.

Для проверки нестандартных функций потерь и слоёв рекомендуется сравнивать аналитический или автоматически вычисленный градиент с конечными разностями.

История

Современное понятие градиента сформировалось вместе с развитием анализа функций нескольких переменных и векторного анализа.

Символ \nabla связан с работами Уильяма Роуэна Гамильтона. Система операций современного векторного анализа развивалась в работах Джозайи Уилларда Гиббса и Оливера Хевисайда.

Учебник Эдвина Уилсона, основанный на лекциях Гиббса и опубликованный в 1901 году, способствовал распространению обозначений градиента, дивергенции и ротора.[1]

В XX веке градиентные методы стали важной частью численной оптимизации. Развитие стохастической аппроксимации, обратного распространения ошибки и автоматического дифференцирования сделало вычисление градиента одной из центральных операций машинного обучения.

См. также

Примечания


Литература

Источник — «http://www.machinelearning.ru/wiki/index.php?title=%D0%93%D1%80%D0%B0%D0%B4%D0%B8%D0%B5%D0%BD%D1%82»
Личные инструменты